在你告诉我"你有什么尝试"和"自己测试"之前,我想指出robots.txt更新非常缓慢我的网站搜索引擎上的任何网站,所以如果你能提供理论体验,那将是值得赞赏的.
例如,是否可以允许:
http://www.example.com
并阻止:
http://www.example.com/?foo=foo
我不太确定.
救命？
根据维基百科,"robots.txt模式通过简单的子字符串比较匹配",因为GET字符串是一个你应该能够添加的URL:
Disallow: /?foo=foo
或更喜欢的东西
Disallow: /*?*
禁用所有获取字符串.星号是通配符,因此它匹配任何内容的一个或多个字符.