多节点kafka集群中的主节点

Question

我正在尝试设置多节点kafka群集并具有以下三个配置文件.但是我怎么知道哪个节点是主节点？

broker.id=1
port=9093
log.dir=/data/logs/kafka/kafka-logs-1

在config/server1.properties中

broker.id=2
port=9093
log.dir=/data/logs/kafka/kafka-logs-2

在config/server2.properties中

broker.id=3    
port=9093
log.dir=/data/logs/kafka/kafka-logs-3

在config/server3.properties中

Answer 1

Kafka没有关于其代理的"主"和"从"节点的概念(与Apache Hadoop,Spark或Storm等相关技术不同)."所有经纪人都是平等的",可以这么说.所以这是个好消息 - 你不需要配置任何特别的东西!您需要做的就是启动三个代理进程*,他们将透明地弄清楚如何合作.

是的,有一个关于主题分区/副本的领导者和追随者的概念,但所有这些都是在幕后为您自动管理的.此外,领导者/跟随者分配是动态的,并且可能在运行时发生变化.例如,如果经纪人B1是分区的当前领导者P8并且经纪人B1随后崩溃,那么作为分区追随者的经纪人之一P8将自动被选为P8(例如,经纪人B3)的新领导者.一旦经纪人B1再次活着,它通常会成为新当选领导人B3关于分区的追随者P8.

*我假设这些进程将在不同的机器上运行,否则(即如果所有三个代理进程在一台机器上运行),您必须port为每个进程分配不同的设置.