从另一个文件调用Scrapy而不进行线程化

Question

我必须从另一个python文件中调用crawler,我使用以下代码.

def crawl_koovs():
    spider = SomeSpider()
    settings = get_project_settings()
    crawler = Crawler(settings)
    crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
    crawler.configure()
    crawler.crawl(spider)
    crawler.start()
    log.start()
    reactor.run()

在运行它时,我得到错误

exceptions.ValueError: signal only works in main thread

我能找到的唯一解决方法就是使用

reactor.run(installSignalHandlers=False)

我不想使用,因为我想多次调用此方法,并希望在下一次调用之前停止reactor.我可以做些什么来完成这项工作(可能会强制爬虫在相同的'主'线程中启动)？

Answer 1

我要对你说的第一件事是当你从外部文件执行Scrapy时,loglevel被设置为INFO,如果代码不起作用,你应该将它改为DEBUG以查看发生了什么

你应该改变这条线:

 log.start()

对于:

log.start(loglevel=log.DEBUG)

要将所有内容存储在日志中并生成文本文件(用于调试目的),您可以执行以下操作:

log.start(logfile="file.log", loglevel=log.DEBUG, crawler=crawler, logstdout=False)

关于将日志级别更改为DEBUG的信号问题,您可以看到一些可以帮助您修复它的输出,您可以尝试将脚本放入Scrapy Project文件夹以查看是否仍然崩溃.

如果你改变了这条线:

crawler.signals.connect(reactor.stop, signal=signals.spider_closed)

对于:

dispatcher.connect(reactor.stop, signals.spider_closed)

它说什么 ？

根据您的Scrapy版本,可能会弃用它