亚马逊消防站更新红移记录

Question

我们通过 API-Gateway > Kinesis Streams > Lambda > FireHose > Redshift Tables 使用所有分析源。

AWS Lambda 是我们的转换足迹，接受 Kinesis 流记录，根据上下文更改分析事件并将其放入 FireHouse 以将其保存到 Redshift DB。

在此旅程中，我们希望在某些条件下更新 Redshift 记录（基本上是 UPSERT（插入 | 更新））。firehose中有什么东西可以避免redshift中的重复记录吗？

Answer 1

开箱即用，不。

如果您要更新插入的表是 T1，那么您可以执行以下操作：

• 让 Firehose 将记录转储到另一个表 T2。
• 使用 cron 或其他东西运行一个作业，定期从 T2 更新插入到 T1。使用事务，以避免在运行此查询和 Firehose to Redshift 查询时数据损坏。