Robots.txt 禁止使用正则表达式的路径

Question

是否robots.txt接受正则表达式？我有很多URL这种格式的：

https://example.com/view/99/title-sample-text
ID ----------------------^
Title -----------------------------^

我用过这个：

Disallow: /view

但是看起来这不起作用，因为google索引了更多页面。所以我想用正则表达式来做到这一点，就像这样：

Disallow: /view/([0-9]+)/([^/]*)

但这是正确的格式还是在 中有效robots.txt？

Answer 1

您可以使用通配符...

User-agent: *
disallow: /view/*

见https://webmasters.stackexchange.com/questions/72722/can-we-use-regex-in-robots-txt-file-to-block-urls

希望这可以帮助。