标签: google-webmaster-tools

如何鼓励 Google 阅读新的 robots.txt 文件?

我刚刚在一个新站点上更新了我的 robots.txt 文件;谷歌网站管理员工具报告它在我上次更新前 10 分钟读取了我的 robots.txt。

有什么办法可以鼓励 Google 尽快重新阅读我的 robots.txt?

更新:在站点配置下 | 爬虫访问 | 测试 robots.txt:

主页访问显示:

Googlebot 无法访问http://my.example.com/

仅供参考:Google 上次读取的 robots.txt 如下所示:

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /
Run Code Online (Sandbox Code Playgroud)

我是在脚中开枪,还是它最终会读到:http:///robots.txt(就像上次读到它时那样)?

关于我需要做什么的任何想法?

robots.txt google google-webmaster-tools

22
推荐指数
1
解决办法
2万
查看次数

如何通过 nginx.conf 在 Google 网站管理员工具上验证站点所有权?

几年前,谷歌网站管理员工具网站所有权验证过程开始要求验证文件具有特定内容,而不是简单地存在并返回200 OK,并确保其他附近的文件会返回404 Not Found等。

有了新要求,我如何nginx.conf单独提供 Google Webmaster Tools 站点验证文件?

nginx google-webmaster-tools

11
推荐指数
1
解决办法
3003
查看次数