我正在使用Scrapy中的代理周期,有时某些代理有错误,这正在阻止我的蜘蛛。 ?
这是需要修改的代码:https : //github.com/scrapy/scrapy/blob/master/scrapy/core/downloader/handlers/http11.py
proxy scrapy deferred scrapyd proxytunnel
deferred ×1
proxy ×1
proxytunnel ×1
scrapy ×1
scrapyd ×1