Kafka 了解相关消息何时被消费

Question

在 Kafka 中，有没有办法在消费了几个相关消息后生成消息？（无需在应用程序代码中手动控制它...）

用例是选择一个大文件，将其分成几个块，为主题中的每个块发布一条消息，一旦所有这些消息都被消耗掉，就会产生另一条消息，通知另一个主题的结果。

我们可以使用数据库或 REDIS 来控制状态，但我想知道是否有任何仅利用 Kafka 生态系统的更高级别的方法。

Answer 1

您可以用来ConsumerGroupCommand检查某个消费者组是否已完成处理特定主题中的所有消息：

1. $ kafka-consumer-groups --bootstrap-server broker_host:port --describe --group chunk_consumer

或者

2. $ kafka-run-class kafka.admin.ConsumerGroupCommand ...

每个分区的零延迟将表明消息已被成功消费，并且消费者已提交偏移量。

或者，您可以选择订阅该__consumer_offsets主题并自行处理其中的消息，但使用ConsumerGroupCommand似乎是更直接的解决方案。