相关疑难解决方法(0)

使用robot.txt是否可以限制(特定)查询字符串(参数)值的机器人访问？

即

http://www.url.com/default.aspx  #allow
http://www.url.com/default.aspx?id=6  #allow
http://www.url.com/default.aspx?id=7  #disallow

我需要禁止将http://example.com/startup?page=2搜索页面编入索引.

我希望http://example.com/startup可以编入索引,但不能访问http://example.com/startup?page=2和page3,依此类推.

此外,启动可以是随机的,例如http://example.com/XXXXX?page