从Kafka请求两个时间戳之间的消息

Question

是否可以根据消息被摄取的时间段来消费来自Kafka的消息？

示例:我希望今天0900-1000之间的所有消息都被提取到主题(现在是1200).

如果只有一种方法来指定开始时间,那很好 - 我的消费者可以在消息到达结束时间时停止处理消息.

我可以看到从给定偏移量请求消息,获取第一个可用偏移量以及最早可用偏移量的方法,但不能查看给定时间后的所有消息.

Answer 1

您可以使用offsetsForTimes返回其时间戳大于或等于给定时间戳的偏移量的方法.有关官方文档的更多信息,请访问:

https://kafka.apache.org/0101/javadoc/org/apache/kafka/clients/consumer/KafkaConsumer.html#offsetsForTimes(java.util.Map)

获得偏移后,您可以寻求使用它并开始从那里读取.