如何禁止robots.txt中的搜索页面

Question

我需要禁止将http://example.com/startup?page=2搜索页面编入索引.

我希望http://example.com/startup可以编入索引,但不能访问http://example.com/startup?page=2和page3,依此类推.

此外,启动可以是随机的,例如http://example.com/XXXXX?page

Answer 1

谷歌网站管理员工具"test robots.txt"功能证实了这样的功能:

User-Agent: *
Disallow: /startup?page=

禁止此字段的值指定不访问的部分URL.这可以是完整路径,也可以是部分路径; 将不会检索以此值开头的任何URL.

但是,如果URL的第一部分将更改,则必须使用通配符:

User-Agent: *
Disallow: /startup?page=
Disallow: *page=
Disallow: *?page=