相关疑难解决方法(0)

我在/24网络中有几个站点，它们都被谷歌定期抓取。通常这很好。但是，当 google 同时开始抓取所有站点时，支持此 IP 块的一小组服务器可能会对负载造成很大影响。

使用 google 网站管理员工具，您可以对给定域上的 googlebot 进行速率限制，但我还没有找到一种方法来限制 IP 网络上的 bot。任何人都有这方面的经验？你怎么修好它的？