从 Apache 施加访问限制以防止抓取？

Question

问题在于内容网站被严重抓取以致破坏了服务器。

是否有一种简单的方法可以将 IP 访问限制为一次或每天固定数量的请求？（10 页/天或……每 2 分钟 10 页）

理想情况下，我会为搜索引擎保留一个通配符列表，并禁止其他人过快或过多地访问内容。

谢谢你们！

Answer 1

解决此问题的一种方法是使用 IPTABLES（仅限 linux）来防止单个 IP 启动的连接数超过指定数量。这是反复试验，因为您需要正确计算它，但总的来说，这应该可以防止攻击者的连接率

iptables -A INPUT -p TCP --dport 80 -m state --state NEW -j STOP-ABUSE
iptables -A STOP-ABUSE -m recent --set
iptables -A STOP-ABUSE -m recent --update --seconds 10 --hitcount 3 -j DROP

希望能帮助到你