以分布式模式运行kafka connect?

Pav*_*Obj 3 apache-kafka kafka-consumer-api apache-kafka-connect confluent-platform

我总共有 3 个 VM(CloudVPS)。他们每个人都安装了 java,confluent 开源。在 VM1 中,我正在运行 Splunk-sink-connector 的 3 个进程,它们从不同的主题读取并在不同的端口上运行。使用 REST 调用,我将 JSON 配置发布给每个人。

由于我在分布式模式下运行,因此我也想利用其他 2 个 VM。谁能告诉我该怎么做,将其他 2 个 VM 添加到这 3 个进程中以实现并行处理。

Rob*_*att 11

您只需要在三个 VM 上以分布式模式运行 Kafka Connect,按照此处的说明进行操作,并确保为它们提供相同的信息group.id,以将它们标识为同一集群的成员(因此有资格在它们之间共享任务的工作负载) . 此处为分布式模式的更多配置详细信息。

也可以看看: