小编Nep*_*une的帖子

如何获得kafka主题的最新偏移量?

我正在kafka使用Java 编写消费者.我想保留消息的实时,所以如果等待消费的消息太多,例如1000或更多,我应该放弃未消耗的消息并开始使用最新的消息.

对于这个问题,我尝试比较最后一个提交的偏移量和一个主题的最新偏移量(只有一个分区),如果这两个偏移量之间的差异大于一定量,我将把主题的最新偏移量设置为下一个偏移,以便我可以放弃那些冗余的消息.

现在我的问题是如何获得一个主题的最新偏移,有人说我可以使用旧的消费者,但它太复杂,新的消费者有这个功能吗?

java apache-kafka kafka-consumer-api

26
推荐指数
4
解决办法
3万
查看次数

标签 统计

apache-kafka ×1

java ×1

kafka-consumer-api ×1