为什么Google robots.txt测试器有错误且无效

Question

正如您在下图中所看到的，Google WebMaster Tools robots.txt测试器告诉我有关9错误的信息，但我不知道如何解决它，这是什么问题？

请帮我弄清楚

Answer 1

这是有效的robots.txt-但文本文件开头有一个UTF-8 BOM（\ xef \ xbb \ xbf）。这就是第一行中“用户”旁边有一个红点的原因。此标记告诉浏览器和文本编辑器将文件解释为UTF-8，而robots.txt只能使用ASCII字符。

将您的文本文件转换为ASCII，错误将消失。或复制红点之后的所有内容，然后尝试再次粘贴。

我在实时版本上对此进行了测试，这是从字节格式转换过来的结果：

\xef\xbb\xbfUser-agent: *\r\nDisallow: /en/news/iranology/\r\nDisallow:
 /en/tours-services/tour-the-soul-of-iran\r\nDisallow: 
/en/tours-services/tour-a-whistle-stop-tour\r\nDisallow: /en/to

您可以在开始时清楚地看到BOM。浏览器和文本编辑器将忽略它，但它可能会与爬网程序解析robots.txt的功能混为一谈。您可以使用以下python脚本测试实时版本：

import urllib.request

text = urllib.request.urlopen('http://www.best-iran-trip.com/robots.txt')

print(repr(text.read()))

如果您能够安装Notepad ++，则它实际上具有一个编码菜单，可让您将其保存为任何格式。