当新的代理添加到 Kafka 集群时，现有主题的分区会发生什么？

Question

假设您有一个单节点 Kakfa 集群，并且您创建了一个具有 2 个分区的主题，因为您希望能够并行消费。

然后一个新的代理加入集群。

这是否也会触发现有主题分区的重新分配，我的意思是，主题第二个分区中的所有数据是否都会移动到第二个代理？

或者新的经纪人是否只参与未来主题的分区分配？

Answer 1

当代理添加到集群时，Kafka 不会自动重新分配现有分区。

这是出于以下几个原因：

• 移动分区可能会导致大量代理间流量和集群上的额外负载。

• 很难确定要移动哪些分区。在您的情况下，这很简单，但想象一个具有 1000 个分区和许多代理的集群。

Kafka 文档中有一节是关于集群扩展的。

有一些工具可以执行此类操作：

• kafka-reassign-partitions.sh是默认的 Kafka 工具，可用于以受控方式重新平衡新代理之间的分区。

• https://github.com/DataDog/kafka-kit

• https://github.com/linkedin/cruise-control