Bingbot会在每天几个小时内非常努力地访问我的网站,并且在剩下的时间里会非常轻松.
我要么想要平滑它的爬行,降低它的速率限制,要么完全阻止它.它并不真正通过任何真正的访问者发送.
有没有办法可以平滑其爬行或速率限制呢？
robots.txt web-crawler bing bingbot
bing ×1
bingbot ×1
robots.txt ×1
web-crawler ×1