看看这个网站的robots.txt:
fr2.dk/robots.txt
内容是:
User-Agent: Googlebot Disallow: /
这应该告诉谷歌不要索引该网站,不是吗？
如果是,为什么该网站会出现在Google搜索中？
robots.txt googlebot google-index
google-index ×1
googlebot ×1
robots.txt ×1