我一直在搜索谷歌,但我找不到这个问题的答案.
robots.txt文件可以包含以下行:
Sitemap: http://www.mysite.com/sitemapindex.xml
但是是否可以在robots.txt中指定多个站点地图索引文件并让搜索引擎识别并抓取每个站点地图索引文件中引用的所有站点地图？例如,这会工作:
Sitemap: http://www.mysite.com/sitemapindex1.xml
Sitemap: http://www.mysite.com/sitemapindex2.xml
Sitemap: http://www.mysite.com/sitemapindex3.xml