对于大量易失性数据集，在 AWS 中推荐使用什么可扩展数据库平台 - elasticsearch、Redis 或 DynamoDB？

Question

我们平台的用户将在我们的系统上存储大量数据。通过应用程序，一旦连接，数据将传输给他们，不再需要保留在我们的服务器上。在任何给定时间都可能有数百或数千用户连接并执行下载。

这是建议的架构：

用户管理、配置和数据下载统计信息将在 SQL Server 数据库中维护，同时使用 Redis 或 DynamoDB 来处理大型数据集。

选择 Redis 或 DynamoDB 的原因是基于成本（比运行另一个 SQL Server 实例便宜）和性能。数据格式类似于数据集市 - 没有连接的平面表。

最初，查询很简单 - 获取用户 X 在某个日期范围内的所有数据，并可以选择删除。

由于我们可能希望使用elasticsearch添加对该数据的某些字段的自由文本搜索可能是从一开始就使用的更好选择。

我希望它能够自动缩放，但不确定哪个数据库最适合这种情况。

Answer 1

以下是有关 AWS ReInvent 的数据库 + 搜索层的一些精彩讨论：