Scrapy:存储数据

Question

我是python和scrapy的新手.我想遵循Scrapy教程,但我不理解存储步骤的逻辑.

scrapy crawl spidername -o items.json -t json

scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv 

我不明白的意思是:

• -o
• -t
• - 组

谢谢您的帮助

Answer 1

您可以通过scrapy crawl -h在项目目录中键入来查看可用命令列表.

scrapy crawl spidername -o items.json -t json

• -o 指定转储项的输出文件名(items.json)
• -t 指定转储项的格式(json)

scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv

• --set 用于设置/覆盖设置
• FEED_URI用于设置项目转储的存储后端.在这种情况下,它被设置为"output.csv",它使用本地文件系统,即一个简单的输出文件.(对于当前示例 - output.csv)
• FEED_FORMAT 用于设置(输出)源的序列化格式,即(对于当前示例csv)

参考文献(Scrapy文档):

1. 可用的工具命令(用于命令行)
2. 饲料出口