当添加或关闭新的消费者/ brorker时,Kafka会触发重新平衡操作.Kafka Rebalancing是一种阻止操作吗?在重新平衡操作正在进行时,Kafka消费者是否受阻?
message-queue producer-consumer apache-kafka kafka-consumer-api
假设我在Kafka中为给定主题分配了10个分区.我可以选择在消费者之间自动对这10个分区进行负载均衡?
我已经阅读了这篇文章/sf/answers/2000625441/但我不确定它涵盖了我正在寻找的内容,或者我可能只是没有得到它.
如果我为每个分区启动一个具有一个使用者的工作者,那么该工作人员将使用所有工作.
但是,如果我在其他地方启动同一个工作人员的另一个实例会怎样?客户端库/ Kafka是否会以某种方式检测到这一点,并重新平衡两个worker之间的负载,以便worker1上的一些活动使用者现在处于空闲状态,而worker2上的相同使用者变为活动状态?
我希望能够按需添加和删除工作人员,并将负载分散到那些,这可能吗?