我一直在搜索谷歌,但我找不到这个问题的答案.
robots.txt文件可以包含以下行:
Sitemap: http://www.mysite.com/sitemapindex.xml
但是是否可以在robots.txt中指定多个站点地图索引文件并让搜索引擎识别并抓取每个站点地图索引文件中引用的所有站点地图？例如,这会工作:
Sitemap: http://www.mysite.com/sitemapindex1.xml
Sitemap: http://www.mysite.com/sitemapindex2.xml
Sitemap: http://www.mysite.com/sitemapindex3.xml
我喜欢iPython并且正在学习RoR和一些像Mechanize这样的库,我希望能够轻松地看到我在内省方面的工作.我希望能够输入"." + TAB,看看.