我有一个小的magento站点,其中包含页面URL,例如:
http://www.mysite.com/contact-us.html
http://www.mysite.com/customer/account/login/
但是我也有包含过滤器(例如价格和颜色)的页面,一旦这样的例子是:
http://www.mysite.com/products.html?price=1%2C1000
要么
http://www.mysite.com/products/chairs.html?price=1%2C1000
问题是,当谷歌机器人和其他搜索引擎机器人搜索网站时,它基本上停止了,因为它们陷入了所有"过滤器链接".
所以,在robots.txt文件中如何配置,例如:
用户代理:*
允许:
不允许:
允许所有页面如:
http://www.mysite.com/contact-us.html
http://www.mysite.com/customer/account/login/
获得索引,但在的情况下,http://www.mysite.com/products/chairs.html?price=1%2C1000指数products.html但之后忽略所有内容的"？" 同为
http://www.mysite.com/products/chairs.html?price=1%2C1000
我也不想指定每个页面,反过来只是一个规则来忽略?主页面之后的所有内容.