Robots.txt禁止某些文件夹名称

Question

我想禁止机器人抓取任何文件夹,在网址的任何位置使用名称:this-folder.

禁止的例子:

http://mysite.com/this-folder/
http://mysite.com/houses/this-folder/
http://mysite.com/some-other/this-folder/
http://mysite.com/no-robots/this-folder/

这是我的尝试:

Disallow: /.*this-folder/

这会有用吗？

Answer 1

官方不支持通配符和正则表达式：

http://www.robotstxt.org/robotstxt.html

但显然有些搜索引擎支持这一点。