如何使用 kafka 扩展 Zookeeper

Question

我正在致力于在 Prod 中扩展 kafka 集群。Confluence 提供了添加 kafka 代理的简单方法。但是，我如何知道如何与 Kafka 一起扩展 Zookeeper。比例应该是多少？现在我们有 5 个 Zookeeper 节点用于 5 个 kafka 代理。如果我有 10 个 kafka 代理，应该有多少个 Zookeeper 节点？

Answer 1

Zookeeper作为Apache Kafka的协调服务，存储kafka集群的元数据。Zookeeper集群被称为ensemble。

Zookeeper 集合中的服务器数量是奇数（3,5 等）。这些数字代表集群的容错能力。三节点集合中，您可以在缺少一个节点的情况下运行。

通过五个节点集成，您可以在缺少两个节点的情况下运行，并且您的集群将可用。

您可以根据您希望系统正常运行的程度来添加任意数量的 ZooKeeper 服务器，但是，对于延迟开销和这些节点之间的过度通信问题，不建议使用超过 7 个节点的 ZooKeeper 集群。