我有一个有 25 个分区的 kafka 主题,集群已经运行了 5 个月。
根据我对给定主题的每个分区的理解,偏移量从 0,1,2...(无界)开始
我看到 log-end-offset 的值非常高(现在 -> 1230628032)
我创建了一个新的消费者组,偏移量设置为最早;所以我预计该消费者组的客户端将从偏移量 0 开始的偏移量。
我用来创建一个偏移到最早的新消费者组的命令:
kafka-consumer-groups --bootstrap-server <IP_address>:9092 --reset-offsets --to-earliest --topic some-topic --group to-earliest-cons --execute
Run Code Online (Sandbox Code Playgroud)
我看到正在创建的消费者组。我预计当前偏移为 0;然而,当我描述消费者群体时,当前的偏移量非常高,目前 --> 1143755193。
设置的记录保留期为 7 天(标准值)。
我的问题是为什么我们没有看到来自这个消费者组的消费者将读取 0 的第一个偏移量?它与数据保留有关吗?
任何人都可以帮助理解这一点吗?
apache-kafka ×2