搜索引擎可以索引JavaScript生成的网页吗？

Question

可以搜索引擎如Google索引JavaScript生成的网页吗？右键单击并在JavaScript生成的页面中选择视图源(例如,使用GWT)时,您看不到动态生成的HTML.我想如果一个搜索引擎也看不到生成的HTML那么索引就没什么了,对吧？

Answer 1

您的怀疑是正确的 - 搜索机器人无法依赖JS生成的内容.关闭JS的任何人都看不到它 - 并且,上次我在我正在开发的网站上添加了一些测试(这是一个大型的主流受众网站,每月有数十万个独特的游客) ,大约10%的用户没有以任何形式运行Javascript.这包括搜索机器人,禁用JS的PC浏览器,许多手机,使用屏幕阅读器的盲人......等等.

这就是为什么通过JS生成的内容(没有后备选项)是一个非常糟糕的想法.

回归本源.首先,使用简单的(X)HTML创建您的站点,类似于REST的原则(至少要求状态更改的POST请求).简单的语义标记,忘记CSS和Javascript.

第一步是做到这一点,并让你的整个网站(或其中很多有意义的)以这种方式很好地适用于搜索机器人和类似Lynx的用户代理.

然后添加一个可视图层:CSS/graphics/media用于视觉润色,但不会显着改变原始(X)HTML标记; 允许原始纯文本站点保持完整和正常运行.保持标记干净!

第三是添加行为层:Javascript(Ajax).为具有Ajax功能的JS的用户/浏览器提供更快,更顺畅,更好的体验...但仅限于那些用户.没有Javascript的用户仍然欢迎; 搜索机器人,视障人士,许多手机等等

这在网页设计界被称为渐进增强.这样做,你的网站以一种合理的形式为每个人工作.

Answer 2

如果搜索引擎也看不到生成的HTML,那么索引就不多了

这总结了一下.从技术上讲,没有什么可以阻止搜索引擎为他们的机器人/蜘蛛实现一个javascript引擎,但它通常不会完成.他们可以,但他们不会.

另一方面,您可以嗅探搜索引擎的用户代理并为其提供可读的内容.但搜索引擎通常不会喜欢这样,如果他们发现与您发送到普通浏览器的内容存在差异,则会严重惩罚您.

Answer 3

一个好的经验法则:如果你可以在Lynx中看到它,它可以被谷歌索引.

Lynx是一个很好的测试,因为它还可以让您了解盲人的屏幕阅读器如何看到您的页面.

Answer 4

是的，Google（很可能还有 Bing）将索引动态生成的 HTML。请在此处查看更多详细信息：http://searchengineland.com/tested-googlebot-crawls-javascript-heres-learned-220157。