小编Thi*_*ria的帖子

Scrapy:downloader/response_count vs response_received_count

我正在使用scrapy来抓取多个网站,我想分析抓取速度.最后转储的统计信息包含downloader/response_count值和response_received_count值.前者系统地大于后者.

为什么存在差异以及爬虫的哪个元素会增加统计信息收集器中的两个值?

python web-crawler scrapy web-scraping

6
推荐指数
1
解决办法
220
查看次数

标签 统计

python ×1

scrapy ×1

web-crawler ×1

web-scraping ×1