我想阻止搜索引擎抓取我的整个网站.
我有一个公司成员使用的Web应用程序.它托管在Web服务器上,以便公司的员工可以访问它.没有其他人(公众)需要它或发现它有用.
因此,我希望添加另一层安全性(理论上),以通过完全取消所有搜索引擎机器人/抓取工具对其的访问来尝试防止未经授权的访问.让谷歌索引我们的网站以使其可搜索从商业角度来看是没有意义的,只是为黑客添加了另一种方式来首先找到网站来尝试破解它.
我知道robots.txt你可以告诉搜索引擎不要抓取某些目录.
是否有可能告诉机器人不要抓取整个网站而不必列出所有不爬网的目录？
最好robots.txt用.htaccess或其他方法完成或最好吗？