如何限制 Googlebot 的抓取速度？

Question

我的一台服务器有问题。谷歌打开了很多到 apache 服务器的 http 连接，并且基本上执行了慢速病毒攻击。

此 netstat 调用导致以下输出

netstat -plant|grep :80|awk '{print $5}'|cut -d: -f1|sort|uniq -c|sort -n

 11 209.85.227.93
 14 209.85.227.190
 30 209.85.229.118
494 209.85.229.141

所有这些IP都属于谷歌网络。我已经禁止谷歌使用 robots.txt 访问保存在服务器上的任何内容，但它对疯狂的连接数量没有影响。我该怎么办？

Answer 1

转到谷歌网站管理员工具，放入throttling。

其他几个蜘蛛程序遵守 中的Crawl-delay指令robots.txt，但 Googlebot 不遵守。