我正在尝试阻止所有机器人/爬虫/蜘蛛的特殊目录.我怎么能这样做htaccess？我搜索了一下,通过基于用户代理的阻塞找到了解决方案:
RewriteCond %{HTTP_USER_AGENT} googlebot
现在我需要更多的用户代理(对于所有已知的机器人),规则应仅对我的单独目录有效.我已经有了robots.txt,但并非所有抓取工具都会看到它...阻止IP地址不是一种选择.还是有其他解决方案吗？我知道密码保护但我必须首先询问这是否是一个选项.然而,我寻找基于用户代理的解决方案.