我正在使用scrapy来抓取多个网站,我想分析抓取速度.最后转储的统计信息包含downloader/response_count值和response_received_count值.前者系统地大于后者.
为什么存在差异以及爬虫的哪个元素会增加统计信息收集器中的两个值?
python web-crawler scrapy web-scraping
python ×1
scrapy ×1
web-crawler ×1
web-scraping ×1