如何限制API的速率

Question

限制API请求的最佳方法是什么？基本上,我们希望每小时将用户限制为360个API请求(每10秒一次请求).我们想到的是跟踪每个API请求并存储:

  ip-address          hourly-requests
  1.2.3.4             77
  2.3.4.5             34
  3.4.5.6             124

如果ip-address请求大于360,只需返回一个标头:

  429 - Too Many Requests

然后每小时回滚计数器每小时请求.这似乎是一种非常低效的方法,因为我们必须在每个API请求上进行MySQL查询以增加计数器.此外,我们需要一个cron任务来每小时重置所有计数器.

有更优雅/高效的解决方案吗？

Answer 1

您可以尝试使用Redis,速率限制的模式很少

Answer 2

我绝对不会建议用MySQL做这个 - 问题不是那么多读取或者你在那里突出显示的算法效率低 - 但写道.随着数量的增加,你将开始进入多秒写入.我们使用REDIS作为存储作为已经提到的另一张海报 - 它具有原子递增/递减功能,这正是您所需要的+它非常快(在内存中) - 您只需管理超高容量的分片(但超高的是比MySQL高许多个数量级).如果你不熟悉REDIS,另一个选择是在Memcached中进行 - 但它在操作级别上并不是很好.

另一个选择仍然是使用像3scale(http://www.3scale.net)这样的东西,它可以有效地为你做所有这些+其他东西(分析,密钥管理,开发人员文档等).有一大堆语言的代码插件(https://support.3scale.net/libraries),这些插件连接到基础设施.您还可以使用Varnish Libmod(https://github.com/3scale/libvmod-3scale/)并将其插入API前面的Varnish缓存中.

Answer 3

试试nginx.通过在配置文件中编写简单的更改,可以轻松完成速率限制.而且,nginx很快.

Answer 4

为了获得理想的性能,您可以运行轻量级Web框架,其中包含用于管理内存数据库中日志的功能,用于监视和记录流量数据,无论是基于用户调用的IP还是用户或服务.更重要的选择是您要使用的数据存储.

最好和最常用的免费选项是:

redis.io高级键值存储

ehcache基于标准的缓存,作为Terracotta的专业开源项目积极开发,维护和支持

hazelcast一个开源的内存数据网格,可实现更快的执行速度和无缝的弹性可扩展性

VoltDB 是一个内存操作数据库

Answer 5

我目前也在调查这个问题。我当前的计划（注意这是使用 LAMP 堆栈！）是使用 APC 的缓存功能来实现这一点。收到请求后，我会检查该 IP 是否存储在 APC 的缓存中。如果是，则检查它是否大于“X”，其中“X”是每单位时间的最大请求数。如果不是，则为该 IP 创建缓存条目。

该系统意味着不需要访问数据库来检查速率限制，并且它不依赖于 MongoDB 或 Redis 服务器等任何东西。它确实假设您正在使用 PHP 和 APC；如果你不这样做，那么 memcached 可能会起作用。