相关疑难解决方法(0)

我们有一个用scrapy编写的系统来抓取一些网站.有几个蜘蛛,以及所有爬虫传递的所有物品的一些级联管道.其中一个管道组件向Google服务器查询地理编码地址.谷歌每个IP地址每天限制2500个请求,并且如果谷歌继续查询谷歌,即使谷歌已经回复了警告信息:'OVER_QUERY_LIMIT',也有可能禁止IP地址.

因此,我想知道我可以在管道中调用的任何机制,它将完全并立即停止所有进一步爬行/处理所有蜘蛛以及主引擎.

我检查了其他类似的问题,他们的答案没有奏效:

• 强迫我的scrapy蜘蛛停止爬行

from scrapy.project import crawler
crawler._signal_shutdown(9,0) #Run this if the cnxn fails.

Run Code Online (Sandbox Code Playgroud)

这不起作用,因为蜘蛛停止执行需要时间,因此谷歌提出了更多的请求(可能会禁止我的IP地址)

import sys
sys.exit("SHUT DOWN EVERYTHING!")

Run Code Online (Sandbox Code Playgroud)

这个根本不起作用; 项目不断生成并传递给管道,虽然日志呕吐sys.exit() - > exceptions.SystemExit引发(无效)

• 如何在遇到第一个异常时进行scrapy抓取并退出？

crawler.engine.close_spider(self, 'log message')

Run Code Online (Sandbox Code Playgroud)

这个问题与上面提到的第一种情况有同样的问题.

我试过了:

scrapy.project.crawler.engine.stop()

Run Code Online (Sandbox Code Playgroud)

无济于事

编辑:如果我在管道中:

来自scrapy.contrib.closespider导入CloseSpider

我应该将什么作为'crawler'参数从我的管道范围传递给CloseSpider的init()？