如果网站没有 robots.txt 文件会怎样？

Question

如果robots.txt文件在网站的根目录中丢失，如何处理：

1. 该网站根本没有编入索引
2. 该网站被无任何限制地编入索引

根据我的说法，它在逻辑上应该是第二个。我问这个问题。

Answer 1

一的目的robots.txt文件是保持爬行了你的网站的某些部分。没有一个应该会导致您的所有内容都被编入索引。

关于该 Meta 问题的第一条评论的含义是该robots.txt文件存在但无法访问（无论出于何种原因），而不是根本不存在。这可能会导致网络爬虫出现一些问题，但这是猜测。

我的robots.txt博客上没有（自托管 Wordpress 安装）并且已编入索引。

Answer 2

Robots.txt 是搜索引擎之间严格自愿的约定；他们可以随意忽略它，或者以他们选择的任何方式实施它。也就是说，除非偶尔蜘蛛寻找电子邮件地址等，否则他们几乎都尊重它。它的格式和逻辑非常非常简单，默认规则是允许（因为你只能禁止）。没有 robots.txt 的网站将被完全索引。