使用node.io进行抓取时如何添加像Tor这样的代理？

Question

我正在使用node.io来构建一个web scraper但是在找到方法的时候,我已经请求了很多,而且这个网站阻止了我.我不知道如何添加代理,比如使用Tor来向这个站点发出请求.

Answer 1

请按照这篇文章http://pkmishra.github.io/blog/2013/03/18/how-to-run-scrapy-with-TOR-and-multiple-browser-agents-part-1-mac/

我安装tor和polipo.Polipo连接到Tor和Node.IO将使用http proxy polipo提供.它看起来比我想象的简单.并为scraper设置代理

    var scrap = new Scraper({
    start: 0,
    limit: 5,
    count: null,
    max: config.max || 0,
    debug: true,
    wait: 3,
    proxy: 'http://127.0.0.1:8123'
});

它工作正常.