AWS DynamoDB 流到 Redshift

Question

我们希望将数据从 DynamoDB NoSQL 以流的形式连续移动到 Redshift 数据库中。我很难理解 AWS 中的所有新术语/技术。有

1) DynamoDB 流

2）AWS Lambda

3) AWS Kinesis Firehose

有人可以提供每个的简短摘要。什么是 DynamoDB 流？这与 AmazonKinesis 有何不同？看完所有资源，这是我的假设理解，请在下面验证。

(a) 我假设使用 DynamoDB Streams，创建 NoSQL 的流数据，并开始将其发送出去。它是发件人。

(b) Lambda 只允许人们消耗时间，这是租用处理 DynamoDB Stream 的服务器的时间。

(c) Kinesis FireHose 转换 DynamoDB 流，并放入 Redshift。

(d) AmazonQuickSight 是他们的商业智能工具，

这是对词汇表术语的正确理解吗？查看Stack 链接，想要更全面的信息。

Answer 1

Amazon Kinesis 可以实时收集、处理和分析视频和数据流。

• 使用Kinesis Video Streams捕获、处理和存储用于分析和机器学习的视频流。
• 使用Kinesis Data Streams构建使用流行的流处理框架分析数据流的自定义应用程序。
• 使用Kinesis Data Firehose将数据流加载到 AWS 数据存储中。
• 使用Kinesis Data Analytics通过 SQL 分析数据流。

DynamoDB 流与 Kinesis Data Stream 一样有效，但它是由 DynamoDB 中的新数据/更改数据自动生成的。这允许在向 DynamoDB 表添加新数据或更改数据时通知应用程序。

甲室壁运动数据流水可以自动输出的流入红移（除其他目的地）。

AWS Lambda无需预置或管理服务器即可运行代码。您只需为所消耗的计算时间付费——当您的代码未运行时无需付费。您几乎可以为任何类型的应用程序或后端服务运行代码——所有这些都是零管理的。

Lambda 可用于检查通过流传入的数据。例如，它可用于处理不需要的数据格式或跳过数据。

总而言之，您可以在DynamoDB 中添加/修改数据。这将导致发送包含有关更改的信息的DynamoDB 流。一个AWS lambda函数可以检查数据和操控/删除邮件。如果可以，然后将数据转发到Kinesis Data Firehose以自动将数据插入到Amazon Redshift 中。

下面是一个例子：

• 银行交易存储在 DynamoDB 中
• DynamoDB Streams 将其发送到 Lambda 函数
• Lambda 函数查看交易并检索有关银行账户的信息。如果账户中有足够的余额，该函数将退出并且什么也不做。
• 如果账户余额不足，它可以通过 Amazon SES 发送电子邮件通知账户持有人。然后，它可以将数据发送到 Firehose，然后将其存储在 Redshift 中以报告逾期帐户。

一起使用这些系统的好处是它们可以以最少的编码提供丰富的应用程序功能。在这个例子中，只有 Lambda 函数需要编码——其余的通过将各种组件链接在一起来工作。此外，它是完全无服务器的——也就是说，无需在 Amazon EC2 实例上运行应用程序。