Kafka：获取偏移量超出分区范围。如何避免数据丢失？

Question

Fetcher INFO : Fetch offset .... is out of range for partition ..., resetting offset 

试图了解发生这种情况时会发生什么。如果我们尝试读取的偏移量丢失了（我假设是因为kafka GC'ed了偏移量），auto.offset.reset = latest我们是否会跳过数据到最新的偏移量？

避免数据丢失的安全配置是什么？

Answer 1

对我来说，我通过在 KafkaConsumer 配置中添加以下行来修复它

properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");