robots.txt错误：内容类型应为文本/纯文本

Question

我正在使用Search Engine Optimization (SEO) Toolkit 1.0显示以下错误的软件测试我的网站：

来自“ htpp：//mysite.com/robots.txt”的响应的内容类型为“ text / html”。Web服务器应返回“ text / plain”作为Robots.txt文件的内容类型。

我的robots.txt文件就是这样的：

User-agent: * 
Allow: /

使用UTF-8保存，不带BOM编码。

错了吗

默认的无害robots.txt文件应该是什么？

谢谢 ！

Answer 1

这是MIME类型问题，需要在服务器中进行配置。

这是链接：http : //www.nextthing.org/archives/2007/03/12/robotstxt-adventure

对于您的特定托管服务提供商，他们会插入一小段跟踪javascript的代码。请在注释中的客户服务支持之后禁用该功能，并且应显示mimetype。