限制(特定)查询字符串(参数)值的机器人访问？

Question

使用robot.txt是否可以限制(特定)查询字符串(参数)值的机器人访问？

即

http://www.url.com/default.aspx  #allow
http://www.url.com/default.aspx?id=6  #allow
http://www.url.com/default.aspx?id=7  #disallow

Answer 1

User-agent: *
Disallow: /default.aspx?id=7  # disallow
Disallow: /default.aspx?id=9  # disallow
Disallow: /default.aspx?id=33 # disallow

etc...

您只需要指定不允许的网址.默认情况下允许其他所有内容.