自定义信号 Scrapy

Question

如何在scrapy中实现自定义信号？我的项目实施了评分系统。根据项目的分数，它要么被接受，要么被拒绝。我希望能够发出 ITEM_ACCEPTED 和 ITEM_REJECTED 信号以收集有关爬网的统计信息。

我正在查看源，https://github.com/scrapy/scrapy/blob/master/scrapy/signals.py - 但我不清楚这里发生了什么。

任何有关如何发送此信号的说明也将有所帮助。

任何建议表示赞赏！

编辑：我在scrapy docs上找到了这个：

http://doc.scrapy.org/en/latest/topics/api.html#module-scrapy.signalmanager

我的一只蜘蛛：

from Scrapers.extensions import signals #my custom signals

def parse(self, response):
    manager = SignalManager(self)
    manager.send_catch_log(signals.ITEM_ACCEPTED)
    manager.send_catch_log(signals.ITEM_REJECTED)

我的扩展名：

from Scrapers.extensions import signals as custom

@classmethod
def from_crawler(cls, crawler):
    o = cls(crawler.stats)
    crawler.signals.connect(o.spider_closed, signal=signals.spider_closed)
    crawler.signals.connect(o.spider_error, signal=signals.spider_error)
    crawler.signals.connect(o.item_scraped, signal=signals.item_scraped)
    crawler.signals.connect(o.item_accepted, signal=custom.ITEM_ACCEPTED)
    crawler.signals.connect(o.item_rejected, signal=custom.ITEM_REJECTED)
    return o

def item_accepted(self):
    print "it worked -- accepted"

def item_rejected(self):
    print "it worked -- rejected"

信号

ITEM_ACCEPTED = object()
ITEM_REJECTED = object()

Answer 1

您正在实例化一个新的信号管理器，而不是使用 Crawler 的信号管理器，因此替换这一行：

manager = SignalManager(self)

您可以使用它来获取实际的信号管理器：

manager = self.crawler.signals

这对我有用