如何从Kinesis - > Redshift批量复制数据

Question

当我读到有关AWS数据管道的想法时,这个想法立刻就出现了 - 为kinesis生成统计数据并在管道中创建一个将消耗kinesis数据并将其复制到每小时红移的工作.一气呵成.

但似乎管道中没有可以消耗运动的节点.所以现在我有两个可能的行动计划:

1. 创建实例,其中Kinesis的数据将被消耗并以小时为单位发送到S3.管道将从那里复制到Redshift.
2. 从Kinesis消费并当场直接生成COPY到Redshift.

我该怎么办？没有自定义代码,是否无法仅使用AWS服务将Kinesis连接到红移？

Answer 1

现在可以通过名为Kinesis Firehose的新托管服务在没有用户代码的情况下这样做.它管理所需的缓冲间隔,临时上传到s3,上传到Redshift,错误处理和自动吞吐量管理.