如何防止搜索引擎索引我网站的单个页面？

Question

我不希望搜索引擎索引我的版本说明页面.我怎么能这样做？

Answer 1

您还可以在该页面的HEAD中添加以下元标记

<meta name="robots" content="noindex,nofollow" />

这是比使用robots.txt更好的解决方案.原因是,如果你robots.txt页面输出,搜索引擎甚至不会访问该页面.如果有指向该页面的链接,则它们不会从索引中删除它,因为您没有告诉它们.Google会在没有说明的情况下显示该页面,因为他们知道该页面但不知道页面上有什么内容.从索引中显式删除它的唯一方法是通过'noindex'命令告诉引擎你根本不想显示它. (7认同)
如果 head 作为服务器端语言（如 php）动态包含，这对于所有页面都是相同的，这有点问题（编码时间太多）。 (2认同)

Answer 2

你需要一个简单的robots.txt文件.基本上,它是一个文本文件,告诉搜索引擎不要索引特定的页面.
您不需要将其包含在页面的标题中; 只要它位于您网站的根目录中,它就会被抓取工具选中.
在您网站的根文件夹中创建它,并将以下文本放入:

User-Agent: *
Disallow: /imprint-page.htm

请注意,您将imprint-page.html在示例中替换您希望保留的索引的页面(或目录)的实际名称.

而已!如果您想要更高级,可以在这里,这里或这里查看更多信息.此外,您可以在线找到可robots.txt为您生成文件的免费工具(例如,此处).

Answer 3

您可以设置robots.txt文件,尝试告诉搜索引擎忽略某些目录.

基本上:

User-agent: *
Disallow: /[directory or file here]