在 Apache 配置文件中阻止 GoogleBot

Jes*_*nch 0 linux .htaccess apache-2.2

对于我的临时服务器,我试图找出一种方法来完全阻止搜索引擎机器人,而不是单独的 .htaccess 文件或 robots.txt 文件。这个想法是在登台服务器上创建新站点时,它不在视线范围内。有没有办法使用 apache 模块检测机器人的用户代理并在服务器范围内阻止该连接?

谢谢!

Mar*_*ark 5

我的建议是阻止除已知良好的测试代理字符串之外的所有内容。这样你就可以阻止你从未听说过的机器人。您还可以使用 %{REMOTE_ADDR} 阻止除已知良好的 IP 集之外的所有 IP。

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} !YourTestingAgent
RewriteRule (.*) /404.html
Run Code Online (Sandbox Code Playgroud)