有没有办法将 Amazon MSK 主题直接转储到 S3?

Nav*_*mar 2 apache-kafka apache-kafka-connect aws-msk

我计划使用 Amazon MSK,并且想将消费者日志转储到 S3 。但我没有看到任何选择。我是否需要编写自己的消费者,或者有没有办法直接将 Amazon MSK 消费者输出消费到 s3?

Rob*_*att 5

Kafka Connect 通常是在 Kafka 和下游(和上游)系统(例如 S3)之间获取数据的最佳(最简单/可扩展/可移植/弹性)方式。在此处和本次演讲中了解有关Kafka Connect的更多信息。

MSK Connect可以在 AWS 上为您的 MSK 运行 Kafka Connect 工作负载。

您的另一个选择是运行您自己的 Kafka Connect 工作线程(连接到 MSK)并使用S3 接收器连接器教程)。