我正在尝试设置我的robots.txt,但我不确定正则表达式.
我有四种不同的页面,全部有三种不同的语言版本.我认为我可以使用正则表达式而不是列出每页3次.
nav.aspx
page.aspx/changelang(可能附加了一个查询字符串,例如"？toLang = fr".)
mypage.aspx？id和
login.aspx/logoff(= 12346？... etc - 每次都不同)
!所有四种语言有三种不同的语言,例如:
www.example.com/es/nav.aspx
www.example.com/it/nav.aspx
www.example.com/fr/nav.aspx
现在,我的问题是:以下正则表达式是否正确？
User-Agent: *
Disallow: /*nav\.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage\.aspx?id
Disallow: /*login\.aspx\/logoff
谢谢
aor*_*sik 17
robots.txt中不允许使用正则表达式,但Googlebot(和其他一些机器人)可以理解一些简单的模式匹配:
你的robots.txt应如下所示:
User-agent: *
Disallow: /*nav.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage.aspx?id
Disallow: /*login.aspx/logoff
User-agent指令对小写有效a.你不必逃避.或"/".
您可以在此处详细了解:使用robots.txt文件阻止或删除页面
| 归档时间： |
|
| 查看次数： |
12200 次 |
| 最近记录： |