如何从scrapy蜘蛛回调中收集统计数据？

Question

如何从蜘蛛回调中收集统计数据？

例

class MySpider(Spider):
     name = "myspider"
     start_urls = ["http://example.com"]

def parse(self, response):
    stats.set_value('foo', 'bar')

不知道一般import会stats提供什么或如何提供.

Answer 1

查看scrapy文档中的统计信息页面.文档说明了统计信息收集器,但可能需要添加from scrapy.stats import stats到您的蜘蛛代码中才能使用它.

编辑:冒着吹我自己的小号的风险,如果你是在一个具体的例子后,我发布了一个关于如何收集失败的网址的答案.

编辑2:经过大量的谷歌搜索,显然没有必要进口.好用self.crawler.stats.set_value()!