卡夫卡领导人多党选举与仲裁者/证人/观察员一起选举

Question

我想在两个数据中心部署Kafka集群,每个DC上具有相同数量的节点.第一个DC用于主动模式,而第二个DC处于被动模式.

例如,假设两个数据中心都有3个节点,第一个DC上有2个同步复制(ISR),第二个DC上有一个ISR.

是否有可能让第三个DC包含仲裁者/见证/观察者节点,以便在一个DC失败的情况下,领导者选举能否在一致性方面取得正确的结果？mongoDB具有名为Replica set Arbiter的功能.

如何在三个数据中心上部署ZooKeeper？根据我的理解,ZooKeeper不保存Kafka数据,并且不应该为Kafka主题中的每个新记录联系它,即您不为每个新记录支付第三个DC的延迟.

Answer 1

2017 年 Kafka 峰会上有一篇演讲《一个数据中心是不够的：跨多个数据中心扩展 Apache Kafka》谈到了这一设置。Confluence 白皮书《多数据中心 Apache Kafka\xc2\xae 部署的灾难恢复》中还有一些有趣的信息。\n它说它可以工作，他们将其称为观察者节点，但它也说没有人尝试过这一点。

\n\n

Zookeeper 跟踪 Kafka (0.9.0+) 的以下元数据。

\n\n

\n
• 选举控制器 - 控制器是代理之一，负责维护所有分区的领导者/跟随者关系。当节点关闭时，控制器会通知其他副本成为分区领导者，以取代即将关闭的节点上的分区领导者。Zookeeper用于选举控制器，确保只有一个控制器，如果崩溃则选举一个新的控制器。
\n
• 集群成员资格 - 哪些代理处于活动状态并且是集群的一部分？这也是通过 ZooKeeper 进行管理的。
\n
• 主题配置 - 该主题有哪些覆盖、分区位于何处等。
\n
• 配额 - 每个客户端允许读取和写入多少数据
\n
• ACL - 谁可以读取和写入哪个主题
\n

\n\n

有关 Kafka 和 Zookeeper 之间依赖关系的更多详细信息，请参见Kafka 常见问题解答，并在 Quora 上由 Confluence 工作的 Kafka 提交者提供答案。

\n\n

从我读过的资源来看，具有两个 DC（Kafka 加 Zookeeper）和第三个具有高延迟的 DC 上的仲裁者/见证者/观察者 Zookeeper 节点的设置可以工作，但我还没有找到任何实际进行过实验的资源。

\n