我应该在 robots.txt 中阻止哪些机器人和蜘蛛？

Question

为了：

1. 提高我网站的安全性
2. 降低带宽要求
3. 防止电子邮件地址收集

Answer 1

任何收集电子邮件或测试您网站漏洞的机器人都不会尊重您的 robots.txt。事实上，这些恶意机器人会查看 robots.txt 以更好地映射您的站点。如果您有任何一点，Disallow:这将用于更好地攻击您的网站。手动查看您网站的黑客应该花额外的时间检查您试图禁止的任何文件/目录。