在Kafka Connect中，如何连接多个kafka集群？

Question

我将 kafka 连接集群设置为分布式模式，我想与多个 kafka 集群建立连接，而不仅仅是多个代理。可以使用bootstrap.serversin设置目标经纪人connect-distributed.properties。因此，首先，我从 kafka-cluster-A 设置broker1，如下所示：

bootstrap.servers=broker1:9092

绝对的，效果很好。

然后，我从 kafka-cluster-B 添加了broker2，如下所示：

bootstrap.servers=broker1:9092,broker2:9092

因此，这两个代理位于不同的集群中。但这根本不起作用。没有任何错误，它只是被卡住了，并且对于通过 REST API 创建连接器等请求没有任何答复。

如何连接多个kafka集群？

Answer 1

据我所知，您只能将 Kafka Connect Worker 连接到一个 Kafka 集群。

如果您希望使用 Kafka Connect 处理不同集群上的数据，则运行多个 Kafka Connect 工作进程。