相关疑难解决方法(0)

CSV导出 - 使用scrapy crawl -o output.csv对列进行排序

有没有办法使用-o参数指定CSV输出中列的顺序?

它似乎遵循随机顺序,不遵循items.py文件中的顺序或在scrape中填充项目字段.

谢谢!

python csv scrapy web-scraping

13
推荐指数
2
解决办法
4787
查看次数

Python Scrapy:如何让CSVItemExporter按特定顺序写入列

在Scrapy中,我在items.py中以特定顺序指定了我的项目,并且我的蜘蛛以相同的顺序再次具有这些项目.但是,当我运行spider并将结果保存为csv时,不会保留items.py或spider中的列顺序.如何让CSV以特定顺序显示列.示例代码将非常感激.

谢谢.

csv scrapy

12
推荐指数
2
解决办法
9094
查看次数

写入csv文件scrapy

我想在scrapy中写入csv文件

 for rss in rsslinks:
  item = AppleItem()
  item['reference_link'] = response.url
  base_url = get_base_url(response)
  item['rss_link'] = urljoin_rfc(base_url,rss)
  #item['rss_link'] = rss
  items.append(item)
  #items.append("\n")
 f = open(filename,'a+')    #filename is apple.com.csv
 for item in items:
    f.write("%s\n" % item)
Run Code Online (Sandbox Code Playgroud)

我的输出是这样的:

{'reference_link': 'http://www.apple.com/'
 'rss_link': 'http://www.apple.com/rss '
{'reference_link': 'http://www.apple.com/rss/'
 'rss_link':   'http://ax.itunes.apple.com/WebObjects/MZStore.woa/wpa/MRSS/newreleases/limit=10/rss.xml'}
{'reference_link': 'http://www.apple.com/rss/'
 'rss_link':  'http://ax.itunes.apple.com/WebObjects/MZStore.woa/wpa/MRSS/newreleases/limit=25/rss.xml'}
Run Code Online (Sandbox Code Playgroud)

我想要的是这种格式:

reference_link               rss_link  
http://www.apple.com/     http://www.apple.com/rss/
Run Code Online (Sandbox Code Playgroud)

python csv scrapy

12
推荐指数
3
解决办法
3万
查看次数

标签 统计

csv ×3

scrapy ×3

python ×2

web-scraping ×1