robots.txt 未更新

Question

今天，我收到了一封来自网站管理员工具的电子邮件，指出“Googlebot 无法访问 CSS 和 JS 文件”。所以我开始更新位于服务器根目录的 robots.txt 文件。

原文内容：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/ #<--CAUSE OF THE PROBLEM

Sitemap: http://example.com/sitemapindex.xml

我从文件中删除了“禁止：/wp-content/themes/”行并重新上传了文件，但是当我在浏览器中查看新文件时，没有任何改变，然后我做了以下操作：

1. 从根目录中删除了 .txt 文件
2. 清除缓存（W3 Total Cache）

但仍然可以在我的浏览器中查看 robots.txt。这只能意味着一件事，文件是虚拟生成的，对吗？我什至在不同的浏览器中查看以确保没有发生缓存。

经过大量搜索，我没有找到关于为什么我的 robots.txt 不会更新或它是从哪里生成的答案？

这里有人对正在发生的事情有任何想法吗？

我使用的一些插件：

1. 更好的 WordPress Google XML 站点地图
2. W3 总缓存
3. 搜索引擎优化

任何帮助将不胜感激，谢谢。

Answer 1

经过几个小时的头脑风暴试图弄清楚这一点后，结果我完全忘记了我启用了 Cloudflare。清除该缓存完成了这项工作。

希望我几个小时的痛苦没有白费，并提醒其他有类似问题的人，通过阅读本文，他们启用了 Cloudflare！