ale*_*bal 5 robots.txt delay bing yandex
如标题所示，robots.txt 中爬行延迟可以设置的最大值是多少？
我从 bing 获得的点击量很少，但在我的服务器中 bing 消耗的资源比 google 更多。
所以我根本不想阻止 bing（因为它不好），但我需要限制 bing 对我的服务器的访问。
我看到有人使用crawl-delay: 120，但后来我读到也许bing只能理解从10到30的crawl-delay。
我对 robots.txt 做了一些测试，最初似乎有效，但过了一段时间我开始收到来自 bing 的大量请求。我也尝试在bing站长工具上设置扫描频率，但没有太大变化。
我想为 yandex 做同样的事情，我不能每天收到 250000 次点击来换取每月 10 次访问，但我不想完全阻止它。
总而言之，可用于 bing 和 yandex 的最大抓取延迟值是多少？
| 归档时间： |
|
| 查看次数： |
513 次 |
| 最近记录： |