比方说,我有一个动态页面,可以URL's根据用户输入创建.例如:www.XXXXXXX.com/browse<--------(浏览为页面)
每次用户输入一些查询时,它都会生成更多页面.例如:www.XXXXXXX.com/browse/abcd<--------(abcd是新页面)
现在,我希望Google抓取此"浏览"页面,但不抓取它生成的子页面.
我想把它添加到我的robots.txt页面; "不允许:/ browse /"
这是正确的做法吗？还是会阻止Googlebot抓取"浏览"页面？我该怎么做才能获得最佳效果？
URL 不以斜杠结尾：
www.XXXXXXX.com/browse
因此这段代码应该有效：
User-agent: *
Disallow: /browse/
| 归档时间： |
|
| 查看次数： |
215 次 |
| 最近记录： |