SEO动态站点地图

Question

假设我们有Twitter,每个配置文件都需要在搜索引擎中编入索引,Twitter如何处理他们的站点地图？是否有类似"regex"站点地图的域名,或者他们是否为每个用户重新生成站点地图？

对于您不熟悉的页面,这对于动态页面如何工作？以维基百科为例,他们如何确保搜索引擎将所有内容编入索引？

Answer 1

最有可能的是,他们不打算做站点地图.

对于高度动态的网站,站点地图无济于事.谷歌只会为一些金额编制索引,如果谷歌考虑重新访问它之前的所有内容,你就不会获得太多收益.

对于缓慢变化的站点,这是不同的.站点地图一方面告诉谷歌,哪些站点可能还没有访问过,而且(更重要的是)哪个站点没有改变,因此不需要重新访问.

但该sitemap.xml机制并没有扩展到庞大且高度动态的网站,如twitter.

Answer 2

许多系统使用动态生成的站点地图.

您可以通过网站站长工具将任何站点地图上传到Google (该服务是免费的) - 优化>站点地图.它不一定是sitemap.xml; 它也可以是JSP或ASPX页面.

通过网站站长工具,您可以为单个网站上传许多不同的站点地图.但是,我不确定站点地图的最大数量是多少.

某些抓取工具支持Sitemap指令,允许robots.txt在表单中使用多个Sitemap,如下所示:

Sitemap: http://www.yoursite.com/profiles-sitemap.xml
Sitemap: http://www.yoursite.com/sitemap_index.xml

编辑

Microsoft网站就是一个很好的例子:robots.txt文件包含许多站点地图条目.例:

Sitemap: http://www.microsoft.com/en-us/sqlazure/sitemap.xml
Sitemap: http://www.microsoft.com/en-us/cloud/sitemap.xml
Sitemap: http://www.microsoft.com/en-us/server-cloud/sitemap.xml
Sitemap: http://www.microsoft.com/france/sitemap_index.xml
Sitemap: http://www.microsoft.com/fr/ca/sitemap.xml
Sitemap: http://www.microsoft.com/germany/kleinunternehmen/gsitemap.aspx
Sitemap: http://www.microsoft.com/germany/newsroom/sitemap.xml

如您所见,一些站点地图是静态的(XML),一些是动态的(ASPX).