你好,
通常,如果我在地址栏中输入“oneofmysites.com/robots.txt”,任何浏览器都会显示robots.txt 的内容。如您所见,这是非常标准的行为。
我只有一台没有的 Web 服务器。相反,robots.txt 重定向到默认网页(即“thesiteinquestion.com/”)。这个显着的差异(只有七个站点之一)让我很担心。
问题:这是需要担心的事情吗?如果是这样,我遗漏的可能错误是什么?
笔记:
robots.txt redirect
redirect ×1
robots.txt ×1