kafka 中不同主题的多个连接器将连接到同一节点

Question

我在 kafka-connect 中创建了两个 kafka 连接器，它们使用相同的连接器类，但它们监听不同的主题。

当我在节点上启动该进程时，两个连接器最终都会在此进程上创建任务。但是，我希望一个节点仅处理一个连接器/主题。如何将主题/连接器限制为单个节点？我在 connect-distributed.properties 中没有看到任何配置，其中进程可以指定要使用哪个连接器。

谢谢

Answer 1

分布式模式下的 Kafka Connect 可以作为一个或多个工作人员的集群运行。每个worker可以运行多个任务。根据您运行的连接器和工作线程的数量，您将在同一个工作线程上运行任务。这是经过深思熟虑的 - 这个想法是 Kafka Connect 将在可用的工作人员中为您管理任务和工作负载。

如果您想隔离处理，可以将 Kafka Connect 作为单独的 Connect 集群运行，可以在同一台机器上（确保使用不同的 REST 端口），也可以在不同的机器上运行。

有关详细信息，请参阅架构和配置以了解配置单独集群的步骤。请注意，集群实际上可以是单个工作线程，但在发生故障时就没有任何冗余。