Scrapy:使用特定的HTTP服务器代码捕获响应

Question

我们有一个非常标准的Scrapy项目(Scrapy 0.24).

我想捕获特定的HTTP响应代码,例如200,500,502,503,504等.

像这样的东西:

class Spider(...):

    def parse(...):
        processes HTTP 200

    def parse_500(...):
        processes HTTP 500 errors

    def parse_502(...):
        processes HTTP 502 errors

    ...

我们怎么做？

Answer 1

默认情况下,Scrapy仅处理具有状态代码的响应200- 300.

让Scrapy处理500并502:

class Spider(...):
    handle_httpstatus_list = [500, 502]

然后,在parse()回调中,检查response.status:

def parse(response):
    if response.status == 500:
        # logic here
    elif response.status == 502:
        # logic here