scr*_*man 5 python dns scrapy web-scraping
Scrapy建议在其网站上设置专用的缓存DNS服务器以进行广泛的爬行（从许多网站爬行数百万个页面）
由于我使用的是旋转 ip/代理 -> 每个请求都通过不同的 ip 地址路由
我假设 DNS 查找也会通过不同的 IP 地址
设置专用的缓存 DNS 服务是否仍然有意义？
归档时间：
10 年 前
查看次数：
829 次
最近记录：