禁止 amazonaws.com 是个好主意吗

Question

站点由托管在亚马逊 ec2 上的匿名机器人抓取。这个机器人不尊重 robots.txt 并在网络服务器上造成高负载，所以我添加了检查请求的反向 IP 是否以“amazonaws.com”结尾，然后服务器立即返回 403 页面。

这解决了问题，但可能会导致其他问题吗？ec2 可能用于一些“好的”机器人，这会导致他们的访问问题。你能举例说明这些问题吗？

Answer 1

Amazon EC2 是一个托管平台。他们不直接控制人们主持的内容。如果您阻止整个 *.amazonaws.com 域，那么您将停止使用 EC2 访问任何托管服务。这些天相当多。