scr*_*man 5 python dns scrapy web-scraping
Scrapy建议在其网站上设置专用的缓存DNS服务器以进行广泛的爬行（从许多网站爬行数百万个页面）
由于我使用的是旋转 ip/代理 -> 每个请求都通过不同的 ip 地址路由
我假设 DNS 查找也会通过不同的 IP 地址
设置专用的缓存 DNS 服务是否仍然有意义？
| 归档时间： |
|
| 查看次数： |
829 次 |
| 最近记录： |