如何防止 Majestic 12 索引站点

Question

我们在 Web 服务器上遇到了大量流量和服务器负载。

我所能发现的只是 majestic12 一直在访问页面。

我想知道如何防止 majestic12 索引该站点

他们是否尊重任何 robots.txt 条目，我该如何编写这样的条目？

Answer 1

根据Majestic 12 自己的关于 robots.txt 的页面，他们完全尊重机器人排除（从顶部开始的第三个答案）。robots.txt 文件是您网站根目录中的纯文本文件，即您将其放置在：

http://www.yourdomain.com/robots.txt

并在文件中有这些行：

User-agent: MJ12bot
Disallow: /

所以如果你想阻止那个机器人，我认为没有问题——除非你被他们提到的其中一个假机器人攻击。