robots.txt 正在重定向到默认页面

Question

你好，

通常，如果我在地址栏中输入“oneofmysites.com/robots.txt”，任何浏览器都会显示robots.txt 的内容。如您所见，这是非常标准的行为。

我只有一台没有的 Web 服务器。相反，robots.txt 重定向到默认网页（即“thesiteinquestion.com/”）。这个显着的差异（只有七个站点之一）让我很担心。

问题：这是需要担心的事情吗？如果是这样，我遗漏的可能错误是什么？

笔记：

• 该站点是我使用的唯一具有单独服务提供商的站点。
• CentOS 6.10 版（最终版）
• 网络管理员
• robots.txt 文件权限为 644

Answer 1

这取决于服务器配置，可能不允许 .txt 文件。可能在配置或某些 .htaccess 中的某处有一个规则，它指定一个 url 是否与某个模式（比如 .html、.php、.htm 等）不匹配，然后将其余的重定向到索引页面的网络根。