Kafka Connect 与 Amazon MSK

Mri*_*rma 10 apache-kafka apache-kafka-connect amazon-msk

如何将 Kafka Connect 适配器与 Amazon MSK 配合使用?根据 AWS 文档,它支持 Kafka 连接,但没有记录如何设置适配器和使用它。

Rob*_*att 28

AFAIK Amazon MSK 不提供托管连接器,因此您必须自己运行它们。这是通过运行 Kafka Connect 工作进程(一个 JVM)然后为其提供一个或多个连接器配置来完成的。

从 Kafka Connect worker 的角度来看,它只需要一个 Kafka 集群来连接;它是 MSK 还是内部部署都无关紧要,因为它最终“只是”底层的消费者/生产者。

您可以在此处查看更多内容,包括现场演示:https : //rmoff.dev/bbuzz19-kafka-connect

有关配置 Kafka Connect 以使用云托管的 Kafka 平台(在本例中为 Confluent Cloud)的示例,请参阅本文


如果您对云中的托管连接器感兴趣,请查看Confluent Cloud 中提供的连接器

免责声明:我为 Confluent 工作 :)


小智 4

AWS 现已支持 MSK Connect,这是基于 Kafka Connect 的 MSK 服务的一项新功能,允许您部署为 Kafka connect 构建的托管 Kafka 连接器

在此处查看公告:https://aws.amazon.com/blogs/aws/introducing-amazon-msk-connect-stream-data-to-and-from-your-apache-kafka-clusters-using-managed-connectors /