我有一个python web爬虫,我想在许多不同的代理服务器之间分发下载请求,可能运行squid(虽然我对替代品持开放态度).例如,它可以以循环方式工作,其中request1转到proxy1,request2转发到proxy2,最后循环回来.知道如何设置吗?
为了使其更难,我还希望能够动态更改可用代理列表,减少一些代理,并添加其他代理.
如果重要,则动态分配IP地址.
谢谢 :)
python proxy screen-scraping squid web-crawler
proxy ×1
python ×1
screen-scraping ×1
squid ×1
web-crawler ×1