如何修复"Googlebot无法访问您的网站"问题？

Question

我只是不断收到消息

"在过去的24小时内,Googlebot在尝试访问您的robots.txt时遇到了1个错误.为了确保我们没有抓取该文件中列出的任何网页,我们推迟了抓取.您的网站的整体robots.txt错误率为100.0 %.您可以在网站站长工具中查看有关这些错误的更多详细信息."

我搜索了它并告诉我在我的网站上添加robots.txt

当我在Google网站管理员工具上测试robots.txt时,无法获取robots.txt.

我想也许robots.txt被我的网站阻止了,但是当我测试它时说GWT允许.

' http://momentcamofficial.com/robots.txt '这里是robots.txt的内容:User-agent:*Disallow:

那么为什么robots.txt无法被Google获取？我错过了什么......有人能帮助我吗???

Answer 1

您的 robots.txt 文件内容有误，请将其更改为：

User-agent: *
Allow: /

并确保每个人都有读取该文件的权限。