Robots.txt语法不明白

Question

我很久以前将我的robots.txt文件提交给Google,它仍然给我一个不理解第一行的语法.

谷歌搜索后最常见的问题是Google添加'？' 在线的开头,但它不是这样做的.

robots.txt的网址是

www.leisurepursuits.co.uk/robots.txt

错误是:

第1行:用户代理:*语法不明白

Answer 1

此错误显示是因为预期的robots.txt文件格式是以UTF-8编码的纯文本格式.该文件由CR,CR/LF或LF分隔的记录(行)组成.

如果字符编码不是UTF-8的子集,那么您的robots.txt文件将被错误地解析.

首先在http://www.asymptoticdesign.co.uk/cgi-bin/check-url.pl中检查您的robots.txt网址,方法是选择第二个选项"查看来源",看看它是否成功响应.

现在再次上传您的robots.txt文件.如前所示,它不会显示错误.

链接不再有效.http://www.milevis.com/Tips/Details/42修复了我 (4认同)
我最初通过VS2013创建了robots.txt文件,这是我的问题.阅读这篇文章后,我在记事本中打开,保存,然后再次上传,它工作正常. (2认同)
将其扔到这里，但是您可以在解决方案资源管理器中右键单击文本文件，“打开方式”>“带有编码的源代码文本”>选择“西欧（windows）”和whala！您将在开始时看到无关的字符。 (2认同)