人们普遍认为搜索引擎每天为给定的站点分配一定数量的带宽或URL.因此,一些网站管理员喜欢阻止来自搜索引擎的JS,CSS和样板图像以节省带宽,因此Google或Bing将抓取更多页面而不是不必要的图像.
Googler,Matt Cutts过去曾问过网站管理员不这样做(http://www.seroundtable.com/googlebot-javascript-css-14930.html).
谷歌似乎想知道您的网站的行为,无论是否有javascript.有大量证据表明它们正在渲染整个页面,以及执行在PageLoad上执行的其他javascript(例如Facebook评论).
如果您阻止常见的jQuery文件,谷歌真的不知道它是一个常见的jQuery实现,还是你修改了核心文件,从而改变了体验.
我的建议是确保所有JS,CSS和样板图像都是通过单独的域或CNAME提供的.我会监控Googlebot抓取日志和Google网站站长工具,并观察他们是否花费大量时间和带宽来抓取这些资产.如果没有,那就让他们继续爬行吧.
由于每个站点的行为都不同,您可以试验并阻止一些请求大量带宽的请求文件...然后观察Google的"抓取的页面"是否会增加.
| 归档时间： |
|
| 查看次数： |
2740 次 |
| 最近记录： |