URL阻止机器人

Question

我有一个客户正在尝试通过SSL免费设置SSL证书，就像我之前做过100次一样。

我在以下创建了文件结构public_html：

然后，我尝试下载证书并收到以下失败消息：

警告：您的验证网址未将正确的内容返回给我们的验证服务器。该URL似乎阻止了漫游器，并无意间阻止了我们的服务器接收正确的内容。请与您的房东，专业开发人员或管理员联系，以获取有关修复它的进一步帮助。

我认为这是由于robots.txt文件引起的，请看一下它，其中包括以下内容：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

因此，我将其更改为暂时允许所有机器人使用：

User-agent: * 
Disallow:

然后，我重试了该过程，上传了新的验证文件，但是仍然收到关于阻止僵尸程序的URL的相同警告消息。有没有人遇到过这个问题，并且知道如何解决？

我还尝试通过DNS .txt记录和FTP进行验证，两者均返回相同的失败通知。

通过GoDaddy托管，他们使用Linux cPanel。该网站是通过WordPress创建的。

输入example.com/robots.txt将返回正确的robots.txt文件。

感谢您的所有帮助！

Answer 1

我现在已经解决了这个问题。这确实与robots.txt我最初认为的文件有关。它最初没有工作的原因是该站点仍然用旧文件缓存，这阻止了整个站点的机器人。

我在.htaccess文件中添加了一些代码以强制重新验证缓存：

ExpiresActive On
ExpiresDefault A1
Header append Cache-Control must-revalidate

完成此操作并使用我的新robots.txt文件后，我能够将新的 SSL 证书安装到现在正在运行的网站上！我希望这可以帮助任何有同样问题的人。

请记住之后删除上述代码，因为它会暂时停止您的网站缓存。