Perl - HTTP :: Proxy捕获XHR/JSON通信

Question

该网站http://openbook.etoro.com/#/main/有一个实时源,由javascript通过XHR保持活动请求生成,并从服务器获取gzip压缩JSON字符串的答案.

我想将Feed捕获到文件中.

通常的方式(WWW :: Mech ..)(可能)不可行,因为需要在页面中设计所有Javascripts并模拟浏览器是非常艰巨的任务,因此,寻找替代解决方案.

我的想法是使用中间人战术,所以broswser将完成他的工作,我想通过perl代理捕获通信 - 专门用于此任务.

我能够抓住最初的沟通,但不是饲料本身.代理工作正常,因为在浏览器中,Feed只运行我的文件管理器不起作用.

use HTTP::Proxy;
use HTTP::Proxy::HeaderFilter::simple;
use HTTP::Proxy::BodyFilter::simple;
use Data::Dumper;
use strict;
use warnings;

my $proxy = HTTP::Proxy->new(
     port => 3128, max_clients => 100, max_keep_alive_requests => 100
);

my $hfilter = HTTP::Proxy::HeaderFilter::simple->new(
    sub {
        my ( $self, $headers, $message ) = @_;
        print STDERR "headers", Dumper($headers);
    }
);

my $bfilter = HTTP::Proxy::BodyFilter::simple->new(
    filter => sub {
        my ( $self, $dataref, $message, $protocol, $buffer ) = @_;
        print STDERR "dataref", Dumper($dataref);
    }
);

$proxy->push_filter( response => $hfilter); #header dumper
$proxy->push_filter( response => $bfilter); #body dumper
$proxy->start;

Firefox使用上述代理进行配置以进行所有通信.

Feed在浏览器中运行,因此代理为其提供数据.(当我停止代理时,Feed也停止了).随机(无法确定何时)我收到以下错误:

[Tue Jul 10 17:13:58 2012] (42289) ERROR: Getting request failed: Client closed

任何人都可以告诉我一个方法,如何为浏览器和keep_alive XHR的服务器方面之间的所有通信构建正确的HTTP :: Proxy过滤器？

Answer 1

以下是我认为你所做的事情:

#!/usr/bin/perl

use 5.010;
use strict;
use warnings;

use HTTP::Proxy;
use HTTP::Proxy::BodyFilter::complete;
use HTTP::Proxy::BodyFilter::simple;
use JSON::XS     qw( decode_json );
use Data::Dumper qw( Dumper );

my $proxy = HTTP::Proxy->new(
    port                     => 3128,
    max_clients              => 100,
    max_keep_alive_requests  => 100,
);

my $filter = HTTP::Proxy::BodyFilter::simple->new(
    sub {
        my ( $self, $dataref, $message, $protocol, $buffer ) = @_;
        return unless $$dataref;
        my $content_type = $message->headers->content_type or return;
        say "\nContent-type: $content_type";
        my $data = decode_json( $$dataref );
        say Dumper( $data );
    }
);

$proxy->push_filter(
    method   => 'GET',
    mime     => 'application/json',
    response => HTTP::Proxy::BodyFilter::complete->new,
    response => $filter
);

$proxy->start;

我认为您不需要单独的标头过滤器,因为您可以$message->headers在主体过滤器中访问要查看的任何标头.

你会注意到我把两个过滤器推到了管道上.第一个是类型HTTP::Proxy::BodyFilter::complete,它的工作是收集响应块并确保后面的实际过滤器始终获得完整的消息$dataref.但是,接收和缓冲的foreach块,将调用以下过滤器并传递为空$dataref.我的过滤器通过早期返回忽略了这些.

我还设置了过滤器管道,以忽略导致JSON响应的GET请求之外的所有内容 - 因为这些似乎是最有趣的.

感谢您提出这个问题 - 这是一个有趣的小问题,您似乎已经完成了大部分的艰苦工作.