当我有 robots.txt 时，我应该删除元机器人（索引、关注）吗？

Question

如果我希望搜索引擎遵循我的 robots.txt 规则，我有点困惑是否应该删除 robots 元标记。

如果页面上存在 robots 元标记（索引、follow），搜索引擎是否会忽略我的 robots.txt 文件并在我的 robots.txt 中索引指定的不允许的 URL？

我问这个问题的原因是搜索引擎（主要是谷歌）仍然索引我网站上不允许的页面。

Answer 1

如果搜索引擎\xe2\x80\x99s 机器人尊重您的 robots.txt，并且您禁止抓取/foo，则机器人将永远不会抓取 URL 路径以 开头的页面/foo。因此，机器人永远不会知道有meta-robots元素。

\n\n

相反，这意味着如果您想禁止对页面建立索引meta（通过指定- robotswith noindex），则不应禁止在 robots.txt 中抓取此页面。否则，noindex永远不会访问 ，并且机器人认为禁止爬行，而不是索引。

\n