分区Kinesis按事件时间消防S3记录

Question

Firehose-> S3使用当前日期作为在S3中创建密钥的前缀.因此,这会在写入记录时对数据进行分区.我的firehose流包含具有特定事件时间的事件.

有没有办法创建包含此事件时间的S3键？下游处理工具取决于每个事件处于与实际发生时间相关的"小时文件夹"中.或者,在Firehose完成后,这是否必须是一个额外的处理步骤？

事件时间可以在分区键中,或者我可以使用Lambda函数从记录中解析它.

Answer 1

Kinesis Firehose尚未允许客户控制最终S3对象的日期后缀的生成方式。

您唯一的选择是在Kinesis Firehose之后添加一个后处理图层。例如，您可以使用数据管道来安排每小时的EMR作业，该作业将读取最近一小时写入的所有文件，并将其发布以更正S3目标。