如何鼓励 Google 阅读新的 robots.txt 文件？

Question

我刚刚在一个新站点上更新了我的 robots.txt 文件；谷歌网站管理员工具报告它在我上次更新前 10 分钟读取了我的 robots.txt。

有什么办法可以鼓励 Google 尽快重新阅读我的 robots.txt？

更新：在站点配置下 | 爬虫访问 | 测试 robots.txt：

主页访问显示：

Googlebot 无法访问http://my.example.com/

仅供参考：Google 上次读取的 robots.txt 如下所示：

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

我是在脚中开枪，还是它最终会读到：http:///robots.txt（就像上次读到它时那样）？

关于我需要做什么的任何想法？

Answer 1

如果其他人遇到这个问题，有一种方法可以强制 google-bot 重新下载 robots.txt 文件。

转到 Health -> Fetch as Google [1] 并让它获取 /robots.txt

这将重新下载文件，谷歌也会重新解析文件。

[1] 在之前的 Google UI 中，它是“诊断 -> 作为 GoogleBot 获取”。