“用户代理：* 禁止：/”是什么意思？

Question

在 /robots.txt 页面上，这是什么意思？

User-agent: * 
Disallow: / 

这是否意味着您无法在搜索引擎上搜索并获得该网站的结果？例如它会阻止谷歌吗？

Answer 1

它阻止（好的）机器人（例如，Googlebot）索引任何页面。

从这个页面：

“User-agent: *”表示本节适用于所有机器人。“禁止：/”告诉机器人它不应该访问站点上的任何页面。

使用 /robots.txt 时有两个重要的注意事项：

• 机器人可以忽略您的 /robots.txt。尤其是扫描 Web 以查找安全漏洞的恶意软件机器人，以及垃圾邮件发送者使用的电子邮件地址收集器不会引起注意。
• /robots.txt 文件是公开可用的文件。任何人都可以看到您不希望机器人使用服务器的哪些部分。