act*_*ias 0 c# web-crawler
我目前正在构建一个Web爬虫,并希望根据请求添加延迟,因此我不会点击Web服务器.
添加此延迟的最合适方法是什么？
此外,爬虫的适当延迟是多少？我想的是.5-1秒.
谢谢
ale*_*lex 7
您可以使用
Thread.Sleep(TimeSpan.FromSeconds(1))
搜索引擎可能会使用10-15甚至60秒的较大延迟.礼貌的爬虫尊重robots.txt中提供的网站"爬网延迟".有关详细信息,请查看http://en.wikipedia.org/wiki/Web_crawler#Politeness_policy
归档时间：
12 年，10 月 前
查看次数：
482 次
最近记录：