相关疑难解决方法(0)

在robots.txt中,我可以为站点地图文件编写以下相对URL吗？

sitemap: /sitemap.ashx

或者我必须使用站点地图文件的完整(绝对)URL,例如:

sitemap: http://subdomain.domain.com/sitemap.ashx

为什么我想知道:

• 我拥有一个新的博客服务www.domain.com,允许用户在accountname.domain.com上发布博客.
• 我使用通配符,因此所有子域(帐户)都指向:"blog.domain.com".

在blog.domain.com中,我放了robots.txt让搜索引擎找到站点地图.但是,由于通配符,所有用户帐户共享相同的robots.txt文件.这就是为什么我不能使用第二种方法.而目前我不能使用url重写txt文件.(我想IIS的更高版本可以处理这个？)

我有两个关于爬行器和机器人的问题。

背景信息

我只想将 Google 和 Bing 排除在 \xe2\x80\x9cdisallow\xe2\x80\x9d 和 \xe2\x80\x9cnoindex\xe2\x80\x9d 限制之外。换句话说，我希望除 Google 和 Bing 之外的所有搜索引擎都遵循 \xe2\x80\x9cdisallow\xe2\x80\x9d 和 \xe2\x80\x9cnoindex\xe2\x80\x9d 规则。另外，我还想要一个用于我提到的搜索引擎的 \xe2\x80\x9cnosnippet\xe2\x80\x9d 功能（它们都支持 \xe2\x80\x9cnosnippet\xe2\x80\x9d）。我应该使用哪些代码来执行此操作（同时使用 robots.txt 和 X-Robots-Tag）？

我希望将其作为 X-Robots-Tag 包含在 robots.txt 文件和 htacess 文件中。我知道 robots.txt 可能已经过时，但我希望向爬虫提供清晰的说明，即使它们 \xe2\x80\x99re 被视为 \xe2\x80\x9cin effective\xe2\x80\x9d 和 \xe2\x80\x9coutdated\xe2\ x80\x9d 除非你另有想法。

问题1

我是否正确地获取了以下代码，仅允许 Google 和 Bing 建立索引（以防止其他搜索引擎在其结果中显示），并进一步阻止 Bing 和 Google 在其搜索结果中显示片段？

X-Robots-Tag 代码（这是正确的吗？我认为我不需要向 googlebot 和 bingbot 添加“index”，因为“index”是默认值，但不确定。）

X-Robots-Tag: googlebot: nosnippet\nX-Robots-Tag: bingbot: nosnippet\nX-Robots-Tag: otherbot: noindex\n

robots.txt 代码（这是正确的吗？我认为第一个是，但不确定。）

    User-agent: Googlebot\n …