小编Rai*_*lam的帖子

如何处理Scrapy中的DNSLookupError?

我正在检查一堆网站响应状态并将它们导出到 CSV 文件。有几个网站没有找到网站DNSLookupError,也没有在 CSV 文件中存储任何内容。如何将消息与 URL 一起存储到 CSV 中?DNSLookupError

def parse(self, response):
    yield {
        'URL': response.url,
        'Status': response.status
    }
Run Code Online (Sandbox Code Playgroud)

scrapy web-scraping python-3.x scrapy-splash

0
推荐指数
1
解决办法
197
查看次数

标签 统计

python-3.x ×1

scrapy ×1

scrapy-splash ×1

web-scraping ×1