小编tom*_*lic的帖子

如何确保Web爬网程序适用于AWS S3上托管的站点并使用AJAX

Google网站管理员指南解释说,网络服务器应该处理包含_escaped_fragment_的网址请求(抓取工具将www.example.com/ajax.html#!mystate修改为www.example.com/ajax.html?_escaped_fragment_=mystate)

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=174992

我的网站位于AWS S3上,我没有处理此类请求的Web服务器.如何确保抓取工具获取Feed并使我的网站获得索引?

web-crawler amazon-s3 amazon-web-services google-crawlers

6
推荐指数
1
解决办法
761
查看次数