小编Jac*_*cob的帖子

用于网络抓取的旋转代理

我有一个python web爬虫,我想在许多不同的代理服务器之间分发下载请求,可能运行squid(虽然我对替代品持开放态度).例如,它可以以循环方式工作,其中request1转到proxy1,request2转发到proxy2,最后循环回来.知道如何设置吗?

为了使其更难,我还希望能够动态更改可用代理列表,减少一些代理,并添加其他代理.

如果重要,则动态分配IP地址.

谢谢 :)

python proxy screen-scraping squid web-crawler

10
推荐指数
2
解决办法
1万
查看次数

标签 统计

proxy ×1

python ×1

screen-scraping ×1

squid ×1

web-crawler ×1