如何重置 Apache Kafka-Connect 服务器中的源连接器偏移量

Question

从 Kafka connect 中删除源连接器后，该连接器保存的偏移量仍然存在于 Kafka 中。当具有相同名称的相同连接器再次启动时，它将开始处理上次保存的偏移量中的数据。更改连接器的名称不是一个解决方案，因为它很难自动提交连接器。

是否有解决此问题的方法（重命名源连接器不是一个选项）

Answer 1

消耗 Connect 使用的 offsets 主题；它是 JSON，所以你可以检查它的格式。

构造一系列消息，将源的偏移量设置为 0

有关使用 FileStreamSource 的完整示例，请参阅这篇文章

KIP -199和 JIRA 也一直在要求解决此问题的工具，还要求删除源连接器应该删除其偏移量。