Chr*_*ris 6 sitemap robots.txt
我的网站由3个主要部分组成:评论,论坛和博客.我有论坛和博客的插件,可以自动为他们生成站点地图.论坛插件生成指向多个索引的站点地图INDEX文件,博客插件生成包含我所有博客内容的常规站点地图文件.以下是robots.txt中的条目:
Sitemap: http://www.datesphere.com/forum/sitemap-index.xml
Sitemap: http://www.datesphere.com/blog/sitemap.xml
我刚创建了一个评论sitemap.xml文件,其中包含评论部分中的所有内容.我打算只为robots.txt添加一行,所以整个事情看起来像这样:
Sitemap: http://www.datesphere.com/forum/sitemap-index.xml
Sitemap: http://www.datesphere.com/blog/sitemap.xml
Sitemap: http://www.datesphere.com/reviews-sitemap.xml
这是我的问题:我知道您可以在robots.txt中列出多个站点地图,但是可以列出站点地图索引文件以及多个站点地图吗？如果在robots.txt中找到sitemap-index.xml文件,Googlebot会忽略其他站点地图文件吗？如果是这样,我是否必须将我的博客和评论站点地图放在另一个站点地图索引文件中,并将其列在robots.txt中？
我已经检查过,但只能找到问题的答案"我可以列出多个站点地图吗？"
met*_*ode 14
即使您列出了其父站点地图索引,Googlebot也不会忽略您在robots.txt中列出的任何站点地图.我们几乎遵循我们发现的每个链接,如果我们被允许,我们会抓取它们.就个人而言,我可能只列出Sitemap索引,但仅出于可管理性的考虑,但这取决于您,如果您列出索引和站点地图,Googlebot将不介意.