roo*_*ook 4 seo url-rewriting web-crawler
客户端如何检测服务器是否正在使用搜索引擎优化技术,例如使用mod_rewrite来实现"seo friendly urls".
例如:
普通网址:http://somedomain.com/index.php? type = pic& id = 1
SEO友好的URL:http: //somedomain.com/pic/1
由于mod_rewrite运行服务器端,因此客户端无法确定地检测到它.
您可以做客户端的唯一事情是寻找一些线索:
<link rel="canonical">标签吗?然后网站喜欢告诉搜索引擎,它应该使用相同内容的多个URL./pic/1我会修改"1".mod_rewrite,它将返回404.如果是,则错误由服务器端脚本语言处理并且可以返回404,但在大多数情况下将返回200页打印错误.