robots.txt 中指令的顺序，它们是相互覆盖还是相互补充？

Question

User-agent: Googlebot
Disallow: /privatedir/

User-agent: *
Disallow: /

现在，Googlebot 不允许哪些内容： /privatedir/ 或整个网站 / ？

Answer 1

根据原robots.txt规范：

\n\n

\n

1. 机器人必须遵循与其用户代理名称匹配的第一条记录。

\n

2. 如果这样的记录不存在\xe2\x80\x99，则它必须跟在该记录后面User-agent: *（这一行不能出现在多个记录中）。

\n

3. 如果这样的记录不存在，则它不必跟随任何记录。

\n

\n\n

因此，机器人永远不会遵循一条以上的记录。

\n\n\n\n

对于您的示例，这意味着：

\n\n

\n
• 不允许与名称“Googlebot”匹配的机器人抓取路径以以下字符开头的网址/privatedir/。
\n
• 不允许\xe2\x80\x99 与名称“Googlebot”不匹配的机器人抓取任何网址。
\n

\n