通过查询 DynamoDB 最大 1MB 可以获得的最佳性能是多少？

Question

我正在使用 DynamoDB 来存储数据。我发现 1MB 是查询返回的硬限制。我有一个案例，查询一个表以获取一个分区中 1MB 的数据。我想知道我能得到的最佳表现是什么。

根据DynamoDB文档，一个分区最多可以有3000个RCU。如果我发送最终一致性读取，它应该支持每秒响应 3000 * 8KB = 24000KB = 23MB。

如果我发送一个查询请求以从一个分区获取 1MB，这是否意味着它应该响应 1/23 秒 = 43 毫秒？

我正在 lambda 中进行测试，在启用 XRay 的情况下向 DynamoDB 发送查询。根据 XRay 跟踪，它显示查询多花费了 300 毫秒。所以我不明白为什么会导致长时间的延迟。

如果我想将延迟降低到个位数毫秒，该怎么办？我不想分割分区，因为 1MB 并不是很大。

Answer 1

DynamoDB 确实能够实现个位数毫秒的延迟，但如果项目大小足够小以适合 1 个 RCU。在 10 毫秒内从数据库读取 1 MB 数据本身就是一项具有挑战性的任务。

您可以尝试以下方法：

1. 将您的读取操作分成两部分。

一个将使用ScanIndexForward: true+进行查询Limit: N/2，另一个将使用ScanIndexForward: false+进行查询Limit: N/2。思路是从两端到中间查询相同的数据。

并行执行此操作，然后将两个响应合并为一个。然而，这可能会将延迟从 300 毫秒减少到 150 毫秒，但仍然不低于 10 毫秒。

2. 使用 DAX - DynamoDB 缓存层
3. 如果您的 1 MB 数据分布在数千个项目中，请考虑使用较少的项目，但每个项目内部将保存更多的数据。
4. 考虑使用brotli等压缩算法来压缩您存储在 1 个 DynamoDB 项目中的数据。有一次我用这种方法取得了成功。根据格式的不同，它可以轻松地将数据大小减少 4 倍，这意味着查询时间加快约 4 倍！使用第 1 项中描述的方法，速度可以提高 8 倍。

另外，请注意，不断从数据库中读取 1 MB 的数据将产生巨大的成本。