如何将数据从 s3 存储桶读取到 Kinesis Stream

Question

我是 Kinesis 的新手。我想从 s3 存储桶读取数据到 Kinesis 流。我创建了一个名为“mystream”的运动流。在我的项目中，每 3 个月都会将一条记录上传到 s3。同时我需要将记录读取到 kinesis 流。我已经创建了用于读取文件的 Lamda 并将其保存到 RDS 数据库实例中。我发现在 lambda 项目中有一个 kinesis 事件。这是做事的方式吗？请帮我得到这个。我不知道如何开始它和所有......如果有人可以帮助我会很棒......

Answer 1

如果我的理解是正确的，您的问题是关于如何将 s3 对象数据写入 kinesis。

您可以在 S3 中为 lambda 创建事件通知。在事件中，您可以选择事件（ObjectCreate (All)、put、post）。为每个对象创建操作成功创建后，您会在 lambda 中收到通知。在 lambda 事件上下文中，您可以获得每次调用的 s3 对象信息。

现在您可以阅读对象信息并将其写入 kinesis 流。

使用 Java 的 AWS S3 和 Kinesis Stream 的链接

https://docs.aws.amazon.com/AmazonS3/latest/dev/RetrievingObjectUsingJava.html

https://docs.aws.amazon.com/streams/latest/dev/developing-producers-with-sdk.html