Kafka - 使用特定偏移量创建消费者组？

Question

在Kafka中创建主题后，您可以通过尝试使用这些组从主题中读取来创建任意数量的消费者组。

我想创建一个额外的消费者组来监控真实消费者组的消息内容——一个用来偷看他们消息的人。因此，GUI 可以让您在任何消费者组上单击“peek”，并且“peeker”组的偏移量将更新为被监视组的偏移量，然后它会向您显示来自该偏移量的消息。

不过我很困惑，因为你不能在第一次明确创建一个消费者组；您似乎必须阅读一条消息才能获取在zookeeper中创建的偏移节点。

我的问题

有没有办法显式创建指向特定偏移量的消费者组，或者是否可以为尚未使用的消费者组手动创建zookeeper节点，以便将其初始化为正确的偏移值？还是这种自动创建会搞乱消费者组分配过程？

Answer 1

您可以查看Kafka Web Console项目，它已经做了与您描述的类似的事情。

如果您想自己执行此操作，则需要使用简单的消费者 API 并手动处理新消费者组（存储在 Zookeeper 或其他地方）的偏移量。您可以从现有消费者组获取当前偏移量，然后使用相同的偏移量为您的查看组读取消息。只要组 ID 不同，它们就不应该互相干扰或搞乱任何事情。