仅将新的记录从AWS DynamoDB复制到AWS Redshift

Question

我看到有大量的示例和文档可以将数据从DynamoDB复制到Redshift,但我们正在研究增量复制过程,其中只有新行从DynamoDB复制到Redshift.我们将每天运行此复制过程,因此不需要每天都杀死整个redshift表.有没有人对这个话题有任何经验或想法？

Answer 1

Dynamo DB 有一个名为Streams 的功能（当前处于预览状态）：

Amazon DynamoDB Streams 在日志中的任何 DynamoDB 表中维护按时间排序的项目级别更改序列，持续时间为 24 小时。使用 Streams API，开发人员可以查询更新、接收更改前后的项目级数据，并使用它为基于 DynamoDB 的应用程序构建创意扩展。

此功能将允许您在新更新到来时对其进行处理并执行您想要的操作，而不是在 DynamoDB 之上设计导出系统。

您可以在读取和处理 DynamoDB 流文档中查看有关处理工作原理的更多信息。

Answer 2

这可以通过辅助 DynamoDB 表来解决，该表仅跟踪自上次备份以来更改的键。无论何时更新初始 DynamoDB 表（添加、更新、删除），都必须更新此表。在备份过程结束时或在备份一行（逐一）后，您将删除它们。