eyb*_*erg 5 etiquette screen-scraping
这是我问题最接近的问题,并没有真正得到很好的回答:
我正在寻找#1的答案:
你要做多少次请求/秒？
现在我从链接队列中拉出来.每个被抓取的网站都有自己的线程,在请求之间休眠1秒钟.我要求gzip压缩以节省带宽.
有这个标准吗？当然,所有大型搜索引擎都有一些关于此的指导方针.
对此没有固定的标准，这取决于网页抓取造成的负载有多大。只要您没有明显影响其他用户的网站速度，它就应该是可接受的抓取速度。
由于网站上的用户数量和负载不断波动，因此动态调整抓取速度是个好主意。
监视下载每个页面的延迟，如果延迟开始增加，请开始降低抓取速度。本质上，网站的负载/延迟应该与您的抓取速度成反比。