小编bah*_*dir的帖子

AWS Kinesis 和 Lambda 数据版本控制

我创建了一个 AWS Firehose 端点(可能会更改为简单的 Kinesis),它从生产者接收日志并将它们保存到 S3 存储桶和一个使用数据、处理数据并将输出保存到数据库的 lambda 函数。

一切正常。现在我正计划为整个结构创建一个登台和开发流程。当我发布新版本时,我无法立即替换整个生产者,因此我需要保留旧的生产版本,直到没有生产者离开 - 因为我可能会对新版本进行破坏性的协议更改。

我不确定使用 kinesis 和 lambda 创建版本化系统的最佳方法是什么。我是否应该为新版本(包括开发和暂存)复制整个结构并让生产者写入特定版本的流?

或者我应该创建一个 mid lambda 函数来检查数据包(包含它们的版本信息)并将事件输出到具有版本化文件夹的特定 s3?这样 lambda 函数将只消耗它们知道的数据。这将让我使用对 lambda 函数的版本控制支持。

这是第一个想法的结构图像

每个版本的单独流程

这是第二个结构

适用于所有版本的单一通用流程

我想知道哪个是更好的解决方案,或者有更好的方法来实现这一目标

architecture lambda amazon-s3 amazon-web-services amazon-kinesis

5
推荐指数
1
解决办法
394
查看次数