Scrapy - 从脚本调用scrapy时,如何立即将字典返回到进程,而不是导出到json文件

Question

官方教程指定了如何在python脚本中调用scrapy的方法

通过更改以下设置属性:

settings.overrides['FEED_URI'] = output_path
settings.overrides['FEED_FORMAT'] = 'json'

我能够将数据存储在json文件中.

但是,我正在尝试处理并返回在我定义的函数内立即抓取的数据.因此,其他函数可以调用此包装函数以废弃某些网站.

我认为必须有一些我可以玩的设置FEED_URI,但我不确定.任何建议将深深感激!

Answer 1

Feed 导出旨在序列化您抓取的数据（请参阅Feed 导出文档）。您尝试做的事情不涉及序列化。

相反，您想要做的是创建一个管道。Scrapy会将scrapy传递Items到管道。它们是字典，你可以用它们做任何你想做的事。