从Amazon dynamoDB加载数据以进行Redshift

Question

我们的生产中有一个DynamoDB表正在不断更新，我们希望将所有记录从dynamoDB加载到redshift。

我们尝试使用copy命令，但是由于新记录不断插入表中，因此copy命令将永远运行。

我们想知道什么是将数据从动态dynamodb加载到redshift的最佳方法。

Answer 1

考虑研究基于DynamoDB流的解决方案。流提供了在每个DynamoDB分区上发生的数据平面事件的有序日志（因此，每个主键的事件都是绝对有序的）。您可以使用Kinesis Client Library和DynamoDB流Kinesis Adapter将流处理为Redshift。

DynamoDB Streams当前处于预览状态，但应该很快就会普遍可用。