小编Ros*_*oss的帖子

我想阻止来自 yandex.ru 搜索机器人的所有请求。它的流量非常大（2GB/天）。我首先阻止了一个 C 类 IP 范围，但这个机器人似乎来自不同的 IP 范围。

例如：

Spider31.yandex.ru -> 77.88.26.27 spider79.yandex.ru -> 95.108.155.251 等等。

我可以在 robots.txt 中加入一些拒绝，但不确定它是否尊重这一点。我正在考虑阻止 IP 范围列表。

有人可以建议一些通用的解决方案。