如何在scrapy中提出请求之前更改请求网址?

Rah*_*hul 5 python request scrapy

我需要在下载响应之前修改我的请求URL.但我无法改变它.即使在使用修改请求URL request.replace(url=new_url),则process_response打印该未改性的网址.这是中间件的代码:

def process_request(self, request, spider):
    original_url = request.url
    new_url= original_url + "hello%20world"
    print request.url            # This prints the original request url
    request=request.replace(url=new_url)
    print request.url            # This prints the modified url

def process_response(self, request, response, spider):
    print request.url            # This prints the original request url
    print response.url           # This prints the original request url
    return response
Run Code Online (Sandbox Code Playgroud)

谁能告诉我我在这里缺少什么?

ale*_*cxe 6

由于您正在修改request对象process_request()- 您需要返回它:

def process_request(self, request, spider):
    request = request.replace(url=request.url + "hello%20world")
    return request
Run Code Online (Sandbox Code Playgroud)

  • 它进入了一个无限循环。但我现在得到了流量。我需要返回新请求以便处理。我使用了一个 `if` 条件来检查 url 是否被修改,然后返回请求。谢谢您的帮助。 (4认同)