我有一个网站,其中包含大量(数千或数万)动态网址,以及一些静态网址.
从理论上讲,由于主页上有一些狡猾的搜索引擎优化链接,任何蜘蛛都应该可以通过蜘蛛友好搜索来抓取网站并发现所有动态网址.
鉴于此,我是否真的需要担心花费精力来生成包含所有这些URL的动态站点地图索引,还是应该确保所有主要的静态URL都在那里？
我生成这个的实际方式并不是一个问题 - 我只是质疑实际需要它.
事实上,谷歌常见问题解答(是的,我知道他们不是唯一的搜索引擎!)关于此建议包括站点地图中可能无法通过抓取发现的网址; 基于这一事实,那么,如果您网站中的每个网址都可以从另一个网址访问,那么您网站地图中为精心设计的网站确实需要的唯一网址是您的主页吗？
如果有多种方法可以访问某个页面,则应为每个包含实际内容的页面选择一个主URL,并将这些URL放在站点地图中.即站点地图应包含指向实际内容的链接,而不是每个可能的URL以获取相同的内容.
还要考虑在具有此主URL的页面中放置规范元标记,以便蜘蛛可以识别页面,即使它可以通过不同的动态URL访问.
蜘蛛只花费有限的时间搜索每个网站,因此您应该尽快找到实际内容.站点地图可以提供很大的帮助,因为您可以使用它直接指向实际内容,以便蜘蛛不必查找它.
我们使用这些方法取得了相当不错的成绩,Google现在为我们的动态内容编制了80-90%的索引.:)