在自定义目录名称下将Firehose传输文件存储在S3中

Question

我们主要通过Kinesis Firehose服务批量传输传入的点击流数据.我们的系统是一个多租户SaaS平台.传入的点击流数据通过Firehose存储在S3中.默认情况下,所有文件都存储在按给定日期格式命名的目录下.我想在Firehose planel\through API中指定数据文件的目录路径,以便隔离客户数据.

例如,我想在S3中为客户A,B和C提供的目录结构:

/ A/2017/10/12 /

/ B/2017/10/12 /

/ C/2017/10/12 /

我该怎么做？

提前致谢

Answer 1

您可以通过配置 S3 前缀来分隔目录。在控制台中，这是在设置期间设置 S3 存储桶名称时完成的。

使用 CPI，您可以设置前缀，如下--s3-destination-configuration所示：

http://docs.aws.amazon.com/cli/latest/reference/firehose/create-delivery-stream.html

但请注意，您只能为每个 Firehose Delivery Stream 设置一个前缀，因此，如果您通过一个 Firehose Delivery Stream 传递所有点击流数据，您将无法将记录发送到不同的前缀。