标签: sitemap

在robots.txt中,我可以为站点地图文件编写以下相对URL吗？

sitemap: /sitemap.ashx

或者我必须使用站点地图文件的完整(绝对)URL,例如:

sitemap: http://subdomain.domain.com/sitemap.ashx

为什么我想知道:

• 我拥有一个新的博客服务www.domain.com,允许用户在accountname.domain.com上发布博客.
• 我使用通配符,因此所有子域(帐户)都指向:"blog.domain.com".

在blog.domain.com中,我放了robots.txt让搜索引擎找到站点地图.但是,由于通配符,所有用户帐户共享相同的robots.txt文件.这就是为什么我不能使用第二种方法.而目前我不能使用url重写txt文件.(我想IIS的更高版本可以处理这个？)

我以为我应该发送"text/xml",但后来我读到我应该发送"application/xml".有关系吗？有人可以解释这个区别吗？

有没有一种简单的方法来为Rails项目创建站点地图文件？特别是对于动态站点(例如Stack Overflow),应该有一种动态创建站点地图文件的方法.Ruby和/或Rails的方法是什么？

你会建议什么？那里有什么好的宝石吗？

一个不断生成新页面的高度动态网站是否应该使用站点地图？如果是这样,像stackoverflow.com这样的网站如何重建站点地图？如果每次有人添加问题时不断重新生成站点地图,这似乎会耗尽宝贵的服务器资源.它是否以设定的间隔(例如每四个小时)生成一个新的站点地图？我非常好奇大型动态网站是如何实现这一目标的.

如何找到网站的sitemap.xml文件？

例如,转到stackoverflow/sitemap.xml会得到404.

在stackoverflow/robots.txt中写入以下内容:

"这在技术上是无效的,因为出于一些荒谬的原因,站点地图路径必须是ABSOLUTE而不是相对的.站点地图:/sitemap.xml"

有没有人有创建基于SQL的ASP.NET站点地图提供程序的经验？

我的默认XML文件web.sitemap与我的Menu和SiteMapPath控件一起正常工作,但我需要一种方法让我的网站用户动态创建和修改页面.

我还需要将页面查看权限绑定到标准ASP.NET成员资格系统中.

我一直在搜索谷歌,但我找不到这个问题的答案.

robots.txt文件可以包含以下行:

Sitemap: http://www.mysite.com/sitemapindex.xml

但是是否可以在robots.txt中指定多个站点地图索引文件并让搜索引擎识别并抓取每个站点地图索引文件中引用的所有站点地图？例如,这会工作:

Sitemap: http://www.mysite.com/sitemapindex1.xml

Sitemap: http://www.mysite.com/sitemapindex2.xml

Sitemap: http://www.mysite.com/sitemapindex3.xml

当您访问Google并执行搜索时,它将返回以下两种结果中的一种:

1. 只是你的网页的标题,或
2. 您的网页标题加上,列出了在该网站上找到的子页面

以下是选项#2的示例:http: //37assets.s3.amazonaws.com/svn/grub-ellis-googlelisting.png

我在google.com搜索网站上只列出了我的网页标题(选项#1),如何让google在搜索结果中列出我的子页面(选项#2)？

是HTML问题吗？如何让Google知道我的子页面是什么,以便它也可以在谷歌搜索中列出这些子页面.

任何人请告诉我google sitemap.xml文件大小的内存限制(MB).

您可能知道,通过使用以下网址,您可以"ping"谷歌以更新其站点地图的记录:

https://www.google.com/ping?sitemap=URLOFSITEMAP.xml

我做了一个脚本,在每篇文章提交后以编程方式执行此操作(我正在创建一个用户提交的博客类型站点).

你觉得每次提交后做这个都是个坏主意吗？每天或者经过一段时间后这样做会更好吗？

我想这可归结为是否有可能这样做会导致应用程序执行失败.ping不是异步完成的,所以我猜总有机会.我只是想知道是否有人以编程方式实现了这一点以及他/她的方法是什么.