相关疑难解决方法(0)

消费者再平衡如何在卡夫卡工作?

当添加或关闭新的消费者/ brorker时,Kafka会触发重新平衡操作.Kafka Rebalancing是一种阻止操作吗?在重新平衡操作正在进行时,Kafka消费者是否受阻?

message-queue producer-consumer apache-kafka kafka-consumer-api

32
推荐指数
2
解决办法
9086
查看次数

平衡Kafka消费者

假设我在Kafka中为给定主题分配了10个分区.我可以选择在消费者之间自动对这10个分区进行负载均衡?

我已经阅读了这篇文章/sf/answers/2000625441/但我不确定它涵盖了我正在寻找的内容,或者我可能只是没有得到它.

如果我为每个分区启动一个具有一个使用者的工作者,那么该工作人员将使用所有工作.

但是,如果我在其他地方启动同一个工作人员的另一个实例会怎样?客户端库/ Kafka是否会以某种方式检测到这一点,并重新平衡两个worker之间的负载,以便worker1上的一些活动使用者现在处于空闲状态,而worker2上的相同使用者变为活动状态?

我希望能够按需添加和删除工作人员,并将负载分散到那些,这可能吗?

例如从这个: 在此输入图像描述

对此: 在此输入图像描述

apache-kafka kafka-consumer-api

9
推荐指数
1
解决办法
5340
查看次数