And*_*ers 5 robots.txt googlebot google-index
看看这个网站的robots.txt:
内容是:
User-Agent: Googlebot
Disallow: /
这应该告诉谷歌不要索引该网站,不是吗？
如果是,为什么该网站会出现在Google搜索中？
除了必须等待,因为Google的索引更新需要一些时间,请注意,如果您有其他网站链接到您的网站,仅使用robots.txt将不足以删除您的网站.
引用Google的支持页面"从Google的搜索结果中删除网页或网站":
如果该页面仍然存在但您不希望它显示在搜索结果中,请使用robots.txt阻止Google抓取该页面.请注意,通常情况下,即使robots.txt禁止访问该网址,如果我们在其他网站上找到其网址,我们仍可能会将该网页编入索引.然而,谷歌将是否阻止在robots.txt中没有索引的页面,并有针对网页移除请求.
上述文件中还提到了一种可能的替代解决方案:
或者,您可以使用noindex元标记.当我们在网页上看到此标记时,即使其他网页链接到该网页,Google也会从搜索结果中完全删除该网页.如果您无法直接访问站点服务器,这是一个很好的解决方案.(您需要能够编辑页面的HTML源代码).
如果您刚刚添加了此内容，那么您必须等待 - 这不是即时的 - 直到 Googlebot 回来重新蜘蛛化该网站并看到 robots.txt，该网站仍将在他们的数据库中。
我怀疑它是否相关，但你可能想将你的“代理”更改为“代理” - 谷歌很可能对此不区分大小写，但严格遵循标准不会有什么坏处。