Kafka到S3 - 如何将切片从kafka加载到S3

cof*_*fee 5 java scala amazon-s3 apache-kafka apache-spark

我不清楚是否有某种插件可以使用来自kafka主题的数据并将它们插入S3.

我已经找到了这个主题,但我还没有解决这个问题,有这个项目,但老实说很难用,因为最后一次提交是从2年前开始的.

我的主要目标是直接从kafka消费来激活工作,但我认为这可能是一种复杂的,所以如果用来自kafka的一些事件来填充S3对我来说就足够了.

另外,scala中有任何消费者示例?它有点搞笑,因为kafka是用scala构建的,但文档代码是java.= p

我感谢任何帮助

更新:

加缪也可能是一个选择

cof*_*fee 9

来自pinterest的这个工具对我来说是完美的答案.

西科尔