比方说,我有一个动态页面,可以URL's根据用户输入创建.例如:www.XXXXXXX.com/browse<--------(浏览为页面)
每次用户输入一些查询时,它都会生成更多页面.例如:www.XXXXXXX.com/browse/abcd<--------(abcd是新页面)
现在,我希望Google抓取此"浏览"页面,但不抓取它生成的子页面.
我想把它添加到我的robots.txt页面; "不允许:/ browse /"
这是正确的做法吗？还是会阻止Googlebot抓取"浏览"页面？我该怎么做才能获得最佳效果？
robots.txt ×1