元标记与robots.txt

Question

1. 使用元标记*或robots.txt文件来通知蜘蛛/抓取工具包含或排除网页是否更好？

2. 使用meta标签和robots.txt时是否有任何问题？

*例如: <#META name="robots" content="index, follow">

Answer 1

有一个显着的区别.根据Google的说法,如果页面通过其他网站链接,他们仍然会将robots.txt DENY后面的页面编入索引.

但是,如果他们看到元标记,他们就不会:

虽然Google不会抓取或索引robots.txt阻止的内容,但我们仍可能会从网络上的其他位置查找并索引不允许的网址.因此,URL地址以及可能的其他公开信息(例如网站链接中的锚文本)仍可显示在Google搜索结果中.您可以使用其他网址拦截方法阻止您的网址完全显示在Google搜索结果中,例如使用密码保护服务器上的文件或使用noindex元标记或响应标头.

Answer 2

Robots.txt 恕我直言。

Meta 标记选项告诉机器人不要索引单个文件，而 Robots.txt 可用于限制对整个目录的访问。

当然，如果您想要跳过索引文件夹中的奇数页，请使用元标记，但一般来说，我建议您将大部分非索引内容放在一个或多个文件夹中，并使用 robots.txt 来跳过这部分内容。

不，使用两者没有问题 - 如果存在冲突，一般来说，拒绝将推翻允许。