robots.txt 内容本身是否已编入索引？

Question

我的 robots.txt 文件的内容本身实际上已编入索引并显示在 Google 搜索结果中。例如，只有谷歌而不是雅虎。

我真的认为谷歌应该明白不要索引我的机器人文件的内容，因为它只是告诉谷歌什么不要索引！

我在这里错过了什么吗？

Answer 1

这很正常。我的也于几个月前被索引。我认为这是爬虫的问题。编辑：顺便说一句，您可以删除网站管理员工具网站上的链接。