我意识到这是一个非常古老的问题,但我想强调@Julien作出的实际答案.
根据Joost de Valk的说法,robots.txt确实会阻止您的网站被搜索引擎抓取,但如果其他网站的链接指向您的网站,则您网站的链接仍可能会显示在搜索结果中.
解决方案是在页面标题中添加漫游器元标记:
<meta name="robots" content="noindex,nofollow"/>
或者,更简单的选择是将以下内容添加到.htaccess文件中:
Header set X-Robots-Tag "noindex, nofollow"
显然,您的Web主机必须允许.htaccess规则并mod_headers安装模块才能工作.
这两个标记都会使搜索引擎不再关注指向您网站的链接,并在搜索结果中显示您的网页.双赢,宝贝.
robots.txt使用以下内容在站点根目录中创建文件:
# robots.txt for yoursite
User-agent: *
Disallow: /
搜索引擎(以及大多数机器人)将尊重此文件的内容.您可以Disallow: /path为机器人放置任意数量的行以忽略它们.有关robotstxt.org的更多详情.