在Kafka Connect源连接器中使用消息密钥

Ale*_*sta 5 apache-kafka apache-kafka-connect

我正在使用Kafka connect JDBC源连接器从数据库中的视图中读取并将其发布到kafka上,效果很好。

我的用例是用户可以创建多个对象,并且对象的顺序在我的应用程序中很重要。我想将用户ID用作发布到主题中的所有消息的消息键,以维持其顺序。

我的问题是如何在Kafka Connect源连接器中定义消息密钥?

Qua*_*ien 6

通过将以下代码添加到connect-file-source配置文件中,可以使用Kafka Connect的SMT(单消息转换)功能。

transforms=createKey
transforms.createKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.createKey.fields=UserId <name of user id column>
Run Code Online (Sandbox Code Playgroud)

有关SMT的更多信息,请点击此处