Scrapy建议在其网站上设置专用的缓存DNS服务器以进行广泛的爬行(从许多网站爬行数百万个页面)
由于我使用的是旋转 ip/代理 -> 每个请求都通过不同的 ip 地址路由
我假设 DNS 查找也会通过不同的 IP 地址
设置专用的缓存 DNS 服务是否仍然有意义?
python dns scrapy web-scraping
dns ×1
python ×1
scrapy ×1
web-scraping ×1