Scrapy:限制请求或请求字节数

Question

我正在使用scrapy CrawlSpider并定义了一个扭曲的反应器来控制我的爬行器.在测试期间,我抓取了一个收集超过几GB数据的新闻网站.大多数情况下,我对最新的故事很感兴趣,所以我正在寻找一种限制请求页数,字节数或秒数的方法.

是否有一种常用的方法来定义限制

• request_bytes
• request_counts或
• 几秒钟的运行时间？

Answer 1

在scrapy有阶级scrapy.extensions.closespider.CloseSpider.您可以定义变量CLOSESPIDER_TIMEOUT,CLOSESPIDER_ITEMCOUNT,CLOSESPIDER_PAGECOUNT和CLOSESPIDER_ERRORCOUNT.

当符合标准时,蜘蛛会自动关闭:http: //doc.scrapy.org/en/latest/topics/extensions.html#module-scrapy.contrib.closespider