robots txt 不允许使用通配符

Question

我无法阻止谷歌抓取一些导致错误的网址。

我想停下来

• /项目/123984932842/下载/pdf
• /项目/123984932842/下载/zip

但允许

• /项目/123984932842
• /项目/123984932842/平

我尝试了project/*/download/pdf 但它似乎不起作用。有谁知道会怎样？

Answer 1

/行首有 a 吗Disallow:？

User-agent: googlebot
Disallow: /project/*/download/pdf