如何在robots.txt中禁止服务api和多语言网址

Question

我需要禁止下一个网址:

1. service api /_s/user,, /_s/place...所有都以/_s/
2. 保存表格:/{language}/save.例如/{en}/save,/{ru}/save,...

注意:大多数URL在开头都有语言参数:/en/event,...我不想阻止它们.

应该是这样的:(但robots.txt格式不允许这样)

Disallow: /_s/*
Disallow: /:lang/save

Answer 1

在robots.txt匹配是从左边,所以它匹配任何开头/pattern.

通配符/*pattern匹配任何必须遵循给定的开头pattern.因此*在右边永远不需要(例如/foo*它等同于/foo).

所以在你的情况下你可以使用

Disallow: /_s/

• 禁止任何以/_s/例如开头的事物/_s/foo

Disallow: /*save

• 要禁止所有的模式,如/en/save,但也 /foosave还是/en/save/other

你可以$用来表示" 必须结束 "

Disallow: /*save$

• 要禁止所有的模式,如/en/save或/fr/save但不 /en/save/other

你可以找到更多一点上的robots.txt中的robots.txt:4件事情你应该知道的文章

我希望这会有所帮助.