我如何限制谷歌对我的 IP 块的抓取？

Question

我在/24网络中有几个站点，它们都被谷歌定期抓取。通常这很好。但是，当 google 同时开始抓取所有站点时，支持此 IP 块的一小组服务器可能会对负载造成很大影响。

使用 google 网站管理员工具，您可以对给定域上的 googlebot 进行速率限制，但我还没有找到一种方法来限制 IP 网络上的 bot。任何人都有这方面的经验？你怎么修好它的？

Answer 1

如果您运行 BGP，您可以简单地对 AS15169 (AS-GOOGLE) 进行速率限制，但手动执行可能太容易出错。