如何将单节点 Kafka 扩展到多节点集群？

Question

我将安装 Kafka 用于公司消息传递。计划是首先将 kafka 安装在一台巨大的机器上，然后根据需要将其扩展到 4-5 台机器（一个集群）。

我对 kafka 的经验很少。想问一下是否可以通过更改代理配置中的参数并在新加入的机器上安装zookeeper来扩展。

或者我怎样才能以最简单的方式粗略地做到这一点？更具体地说，CDH 中的 Cloudera Kafka。

谢谢

Answer 1

要扩展 Kafka，如果需要使用 kafka-topics.sh，您必须向主题添加更多分区。然后使用 kafka-reassign-partitions.sh 将分区重新分配给您的新代理。

重新分配实用程序将自动复制和分发您的数据。您可以为整个主题或一组有选择的分区执行此操作。

完整的文档在这里。只看第 6 节。