robots.txt网址格式

Question

根据这个页面

User-agent或Disallow行不支持globbing和正则表达式

但是,我注意到stackoverflow robots.txt包含像*和？这样的字符.在URL中.是否支持这些？

此外,URL是否包含尾部斜杠,或者这两个是等效的吗？

Disallow: /privacy
Disallow: /privacy/

Answer 1

你的第二个问题,两者不等同./privacy将阻止任何开头/privacy,包括类似的东西/privacy_xyzzy./privacy/另一方面,不会阻止这一点.

原始robots.txt不支持通配符或通配符.但是,很多机器人都可以.几年前,谷歌,微软和雅虎达成了一项标准.有关详细信息,请参阅http://googlewebmastercentral.blogspot.com/2008/06/improving-on-robots-exclusion-protocol.html.

我所知道的大多数主要机器人都支持"标准".