为同一主题创建多个消费者，而不是在kafka中创建重复偏移

Question

我的问题

我有一位制片人。向主题名称 t1 生成两次消息“hello1”、“hello2”。我有 2 个消费者名称 c1,c2。所以我想要c1消费者消息“hello1”和c2消费消息“hello2”。

但是现在当我消费消息 c1 时得到“hello1”，“hello2”，c2 也得到“hello1”，“hello2”。我不想要它。

问题

如何创建 2 或 3 个消费者来订阅同一主题的消息而不产生重复消息。

Answer 1

您需要将两个消费者放在同一个消费者组中。在消费者组内，一条消息只能由单个消费者消费。

您可以使用该设置来设置消费者所属的组group.id。有关此设置的详细信息，请参阅http://kafka.apache.org/documentation/#consumerconfigs 。