简单的问题.我想补充一下:
Disallow */*details-print/
基本上,/foo/bar/dynamic-details-print在这个例子中以--- foo和bar 形式的阻塞规则也可以是完全动态的.
我认为这很简单,但是在www.robotstxt.org上有这样的信息:
另请注意,User-agent或Disallow行不支持globbing和正则表达式.User-agent字段中的'*'是一个特殊值,意思是"任何机器人".具体来说,你不能拥有像"User-agent:bot ","Disallow:/ tmp/*"或"Disallow:*.gif"这样的行.
所以我们不能这样做？搜索引擎是否遵守它？但是,有Quora.com的robots.txt文件:
Disallow: /ajax/
Disallow: /*/log
Disallow: /*/rss
Disallow: /*_POST
那么,谁是对的 - 或者我是否误解了robotstxt.org上的文字？
谢谢!