为什么AWS MSK Kafka代理不断断开并重新连接消费者组

Question

我有带有 2 个代理的 AWS MSK Kafka 集群。从日志中我可以看到（在每个经纪人上）他们正在不断地重新平衡。每分钟我都可以在日志中看到：

Preparing to rebalance group amazon.msk.canary.group.broker-1 in state PreparingRebalance with old generation 350887 (__consumer_offsets-21) (reason: Adding new member consumer-amazon.msk.canary.group.broker-1-27058-8aad596f-b00d-428a-abaa-f3a28d714f89 with group instance id None) (kafka.coordinator.group.GroupCoordinator)

25 秒后：

Preparing to rebalance group amazon.msk.canary.group.broker-1 in state PreparingRebalance with old generation 350888 (__consumer_offsets-21) (reason: removing member consumer-amazon.msk.canary.group.broker-1-27058-8aad596f-b00d-428a-abaa-f3a28d714f89 on LeaveGroup) (kafka.coordinator.group.GroupCoordinator)

为什么会出现这种情况？是什么原因造成的？而什么是amazon.msk.canary.group.broker-1消费群体呢？

Answer 1

可能与代理上 Java\xe2\x80\x99s 垃圾\n收集的配置有关？我记得读到过，垃圾收集器的错误配置可能会导致代理暂停几秒钟并失去与 Zookeeper 的连接，从而导致翻转行为。您能否检查一下是否正在应用垃圾收集的任何自定义配置？（即通过KAFKA_JVM_PERFORMANCE_OPTS环境变量）

\n