robots.txt 中用户代理的顺序

Question

我的 robots.txt 看起来像这样：

User-agent: *
Disallow: /admin
Disallow: /test

User-Agent: Googlebot
Disallow: /maps

现在 Google 会忽略用户代理 * 部分，只遵守特定的 Googlebot 指令 (/maps)。这是正常行为吗？不应该遵守 useragent * 指令（/admin、/test）吗？

必须为每个用户代理添加每一行似乎很奇怪？

Answer 1

没关系，谷歌是这样说的：

robots.txt 文件中的每个部分都是独立的，并且不建立在先前部分的基础上。例如：

用户代理：* 禁止：/folder1/

用户代理：Googlebot 禁止：/folder2/

在此示例中，Googlebot 仅不允许匹配 /folder2/ 的 URL。