如何禁止robots.txt中的特定页面

Question

我在我的网站上创建了两个非常相似但用途不同的页面.一个是感谢用户发表评论,另一个是鼓励用户订阅.

我不想要重复的内容,但我确实希望页面可用.我可以设置站点地图隐藏一个吗？我会在robots.txt文件中执行此操作吗？

禁令看起来像这样:

禁止:/ wp-admin

我如何自定义特定页面,如:

http://sweatingthebigstuff.com/thank-you-for-commenting

Answer 1

Disallow: /thank-you-for-commenting

在robots.txt中

看看last.fm robots.txt文件的灵感.

Answer 2

您还可以在robots.txt文件中添加带有扩展名的特定页面。在测试的情况下，您可以指定测试页面路径以禁止机器人抓取。

举些例子：

 Disallow: /index_test.php
 Disallow: /products/test_product.html
 Disallow: /products/     

第一个Disallow: /index_test.php将禁止机器人抓取根文件夹中的测试页面。

第二个Disallow: /products/test_product.html将禁止文件夹“产品”下的 test_product.html。

最后，最后一个示例Disallow: /products/将禁止抓取整个文件夹。

Answer 3

robots.txt文件使用正则表达式来匹配页面，因此，为了避免定位超出预期数量的页面，您可能需要在页面名称的末尾添加$：

Disallow: /thank-you-for-commenting$

如果您不这样做，那么您也将不允许页面/感谢您对此发表评论