小编chr*_*est的帖子

即使在收到200状态代码时重试Scrapy请求

有一个我正在抓取的网站,有时会返回200,但在response.body中没有任何文本(当我尝试用Selector解析时引发一个AttributeError).

是否有一种简单的方法来检查以确保正文包含文本,如果没有,请重试请求,直到它为止?这是一些伪代码来概述我正在尝试做什么.

def check_response(response):
    if response.body != '':
        return response
    else:
        return Request(copy_of_response.request,
                       callback=check_response)
Run Code Online (Sandbox Code Playgroud)

基本上,有没有办法可以使用完全相同的属性(方法,URL,有效负载,cookie等)重复请求?

python scrapy web-scraping scrapy-spider

6
推荐指数
2
解决办法
3108
查看次数

标签 统计

python ×1

scrapy ×1

scrapy-spider ×1

web-scraping ×1