在C#中添加延迟的最佳方法

Question

我目前正在构建一个Web爬虫,并希望根据请求添加延迟,因此我不会点击Web服务器.

添加此延迟的最合适方法是什么？

此外,爬虫的适当延迟是多少？我想的是.5-1秒.

谢谢

Answer 1

您可以使用

Thread.Sleep(TimeSpan.FromSeconds(1))

搜索引擎可能会使用10-15甚至60秒的较大延迟.礼貌的爬虫尊重robots.txt中提供的网站"爬网延迟".有关详细信息,请查看http://en.wikipedia.org/wiki/Web_crawler#Politeness_policy