小编Jay*_*iya的帖子

Kafka Streams:如何确保处理完成后提交偏移量

我想使用 Kafka 流处理 Kafka 主题中存在的消息。

处理的最后一步是将结果放入数据库表中。为了避免与数据库争用相关的问题(程序将 24*7 运行并处理数百万条消息),我将使用批处理进行 JDBC 调用。

但在这种情况下,有可能消息丢失(在一个场景中,我从一个主题读取了500条消息,流将标记偏移量,现在程序失败。JDBC批量更新中存在的消息丢失,但偏移量被标记为那些消息)。

我想在数据库插入/更新完成后手动标记最后一条消息的偏移量,但根据以下问题这是不可能的:如何使用 Kafka Stream 手动提交?

有人可以建议任何可能的解决方案吗

apache-kafka apache-kafka-streams

6
推荐指数
1
解决办法
3163
查看次数

标签 统计

apache-kafka ×1

apache-kafka-streams ×1