小编Eri*_*nte的帖子

CSV导出 - 使用scrapy crawl -o output.csv对列进行排序

有没有办法使用-o参数指定CSV输出中列的顺序?

它似乎遵循随机顺序,不遵循items.py文件中的顺序或在scrape中填充项目字段.

谢谢!

python csv scrapy web-scraping

13
推荐指数
2
解决办法
4787
查看次数

Scrapy - 如果response.status == 404则跳出循环

我有一个循环,如果后续产量请求的response.status 是404,我试图打破该循环。我正在迭代页码,但不知道有多少页可用。最终我会遇到一个 404 页面,我希望它打破 while 循环。我硬编码到40页,但是有40多页

def parse(self, response):
    cat = json.loads(response.body_as_unicode())
    for c in cat:
        while **RESPONSE.STATUS == 200**:
            url = 'http://www.url.com/'+str(c)+'/'+str(page)+'.json'
            page += 1
            yield Request(url, callback=self.parse_cats)

def parse_cats(self, response):
    if response.status  == '404':
        **BREAK ABOVE LOOP**
Run Code Online (Sandbox Code Playgroud)

我查看了 Request(errback=) 但不确定这是否是正确的方法。

任何帮助将不胜感激!

python scrapy web-scraping

3
推荐指数
1
解决办法
2591
查看次数

标签 统计

python ×2

scrapy ×2

web-scraping ×2

csv ×1