SEO 排除特定文件夹/页面

Question

我正在使用许多无法在移动设备上正常工作的效果构建这个网站，因此我们构建了一个简单的 html 版本，当它们不支持所有效果时，我们将设备重定向到它上面。

Normal version URL: www.mysite.com/#some_page_name

Simple version URL:www.mysite.com/static.php?p=some_page_name

问题是我们不希望谷歌、必应和雅虎在搜索结果中提供简单版本的 URL，我们总是希望人们登陆网站的正常版本。

是否可以用 Apache、PHP 或 JS 告诉搜索引擎机器人忽略所有以 static.php 开头的 URL？

Answer 1

把它放在你的 robots.txt 文件中：

User-agent: *
Disallow: /static.php

这不仅可以将页面排除在机器人索引之外，还可以防止它们一起爬行。