如何scrapy处理dns查找失败

Question

我想在刮取域Scrapy时处理DNS错误.

这是我看到的错误:

ERROR: Error downloading <GET http://domain.com>: DNS lookup failed: address 'domain.com' not found [Errno 8] nodename nor servname provided, or not known.

当我收到这样的错误时,我怎么能得到通知,这样我就可以自己处理它而不用Scrapy只是抛出一个错误并继续前进.

Answer 1

使用errback与回调一起：

Request(url, callback=your_callback, errback=your_errorback)

和errback：

def your_errorback(self, response):
    //your logic will be here