小编Ben*_* XO的帖子

当我反弹经纪人时,Apache Kafka会失去一些消费者补偿

Kafka 1.1.1-cp1。(编辑4:我最终就此事向Kafka提交了一个错误-https: //issues.apache.org/jira/browse/KAFKA-7447

我有3个经纪人,min.insync.replicas = 2涵盖所有主题,并且offsets.commit.required.acks = -1

正如您所料,当我停止其中一位经纪人时,它会移交其负责人的分区,并且一切正常进行(消费者消费,生产者生产)。

当我带回经纪人时,问题就开始了。似乎发生的是,这会导致集群混乱,并且某些__consumer_offset主题会立即被截断为0。

以下是按时间顺序从受影响的__consumer_offset分区中选择的日志(该分区最初由发生故障的代理引导)。这个故事贯穿于所有三个经纪人的日志中。

本质上,我退回的经纪人回来了,似乎不明白新领导者的意思,将其截断为0,然后说服其他副本也截断为0。

prod-kafka-2 :(刚刚启动)

[2018-09-17 09:21:46,246] WARN [ReplicaFetcher replicaId=1, leaderId=2, fetcherId=0] Based on follower's leader epoch, leader replied with an unknown offset in __consumer_offsets-29. The initial fetch offset 0 will be used for truncation. (kafka.server.ReplicaFetcherThread)
Run Code Online (Sandbox Code Playgroud)

prod-kafka-3 :(请参见copy1回来)

[2018-09-17 09:22:02,027] INFO [Partition __consumer_offsets-29 broker=2] Expanding ISR from 0,2 to 0,2,1 (kafka.cluster.Partition)
Run Code Online (Sandbox Code Playgroud)

prod-kafka-2:

[2018-09-17 09:22:33,892] INFO [GroupMetadataManager brokerId=1] Scheduling unloading of offsets and group metadata …
Run Code Online (Sandbox Code Playgroud)

apache-kafka

7
推荐指数
1
解决办法
3220
查看次数

标签 统计

apache-kafka ×1