使用Feed Exporter将项目从Scrapyd保存到Amazon S3

Question

使用Scrapy与amazon S3相当简单,你设置:

• FEED_URI ='s3:// MYBUCKET/feeds /%(name)s /%(time)s.jl'
• FEED_FORMAT ='jsonlines'
• AWS_ACCESS_KEY_ID = [访问密钥]
• AWS_SECRET_ACCESS_KEY = [密钥]

一切正常.

但Scrapyd似乎覆盖了该设置并将项目保存在服务器上(在网站中有一个链接)

添加"items_dir ="设置似乎没有任何改变.

什么样的设置使它有效？

编辑:可能相关的额外信息 - 我们正在使用Scrapy-Heroku.

Answer 1

您可以将该items_dir属性设置为空值，如下所示：

[scrapyd]
items_dir=

看来，当设置该属性时，优先于配置的导出。请参阅http://scrapyd.readthedocs.org/en/latest/config.html了解更多信息。