从scrapy导出csv文件(不是通过命令行)

Question

我成功地尝试从命令行将我的项目导出到csv文件中,如:

   scrapy crawl spiderName -o filename.csv

我的问题是:在代码中执行相同操作的最简单的解决方案是什么？我需要这个,因为我从另一个文件中提取文件名.最后的情景应该是,我打电话

  scrapy crawl spiderName

它将项目写入filename.csv

Answer 1

为什么不使用物品管道？

WriteToCsv.py

   import csv
   from YOUR_PROJECT_NAME_HERE import settings

   def write_to_csv(item):
       writer = csv.writer(open(settings.csv_file_path, 'a'), lineterminator='\n')
       writer.writerow([item[key] for key in item.keys()])

   class WriteToCsv(object):
        def process_item(self, item, spider):
            write_to_csv(item)
            return item

settings.py

   ITEM_PIPELINES = { 'project.pipelines_path.WriteToCsv.WriteToCsv' : A_NUMBER_HIGHER_THAN_ALL_OTHER_PIPELINES}
   csv_file_path = PATH_TO_CSV

如果您希望将项目写入单独的蜘蛛单独的csv,您可以为您的蜘蛛提供CSV_PATH字段.然后在您的管道中使用您的蜘蛛字段而不是来自设置的路径.

这项工作我在我的项目中测试过.

HTH

http://doc.scrapy.org/en/latest/topics/item-pipeline.html