查询特定记录的Kafka主题

Question

是否有一种优雅的方式来查询特定记录的Kafka主题？我正在构建的REST API获取一个ID,需要在Kafka主题中查找与该ID相关联的记录.一种方法是通过自定义消费者检查主题中的每条记录并查找匹配项,但我想避免读取大量记录的开销.Kafka是否具有快速,内置的过滤功能？

Answer 1

在Kafka中搜索记录的唯一快速方法(过度简化)是通过分区和偏移量.新的生产者类可以通过期货返回写入消息的分区和偏移量.您可以使用这两个值来快速检索消息.

因此,如果您从分区和偏移量中获取ID,则可以实现快速查询.否则,不是那么多.这意味着对象的ID不是数据模型的一部分,而是由Kafka知识代码生成.

也许这适合你,也许它不适用.