Tim*_*nes 16 robots.txt web-crawler bing bingbot
Bingbot会在每天几个小时内非常努力地访问我的网站,并且在剩下的时间里会非常轻松.
我要么想要平滑它的爬行,降低它的速率限制,要么完全阻止它.它并不真正通过任何真正的访问者发送.
有没有办法可以平滑其爬行或速率限制呢？
nic*_*ick 23
他们的网站管理员博客说,他们支持在robots.txt文件中添加抓取延迟参数来限制bingbot.
User-agent: msnbot
Crawl-delay: 1
网站管理员FAQ PDF中有更多解释
这些其他链接也可能有用:
http://www.bing.com/toolbox/webmasters
http://www.bing.com/community/webmaster/f/12252/t/651373.aspx
您可以使用 HTACCESS 禁止他的 IP。
order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all
您可以在这里找到更多相关信息：有关机器人阻止的博客