是否应该在 robots.txt 中禁止站点地图？和robot.txt本身？

Question

这是一个非常基本的问题，但我在网上的任何地方都找不到直接的答案。在 google 上搜索我的网站时，sitemap.xml 和 robots.txt 作为搜索结果返回（在更有用的结果中）。为了防止这种情况，我应该在 robots.txt 中添加以下几行吗？：

Disallow: /sitemap.xml
Disallow: /robots.txt

这不会阻止搜索引擎访问站点地图或机器人文件？

另外/我应该使用谷歌的 URL 删除工具吗？

Answer 1

您不会阻止爬虫对 robots.txt 进行索引，因为这是先有鸡还是先有蛋的情况，但是，如果您没有指定 google 和其他搜索引擎直接查看站点地图，则可能会因拒绝您的内容而损失一些索引权重。站点地图.xml。您不希望用户看到站点地图是否有特殊原因？我实际上这样做是专门针对谷歌爬虫的：

 Allow: /
 # Sitemap
 Sitemap: http://www.mysite.com/sitemap.xml