删除未使用的 kafka 消费者组

Question

我使用Confluent / Apache Kafka 0.10压缩主题作为分布式缓存同步机制。当应用程序启动时，它会生成一个特定于实例的consumer group id. 随着为水平可扩展性添加和删除实例，显然我们得到了大量不应再次使用的组 ID。

我确信这是KStreamsand的完美用例KTables，但出于智力原因以及KStreams和KTables被定义为 0.10 中的 alpha 质量，我正在尝试自己执行此操作。

是否有Kafka API我可以使用的调用可以删除现有的consumer group，知道它不应该再次使用？

由于Zookeeper没有维护消费者偏移量version 0.10，有没有办法删除consumer groupusing Kafka？

Answer 1

Kafka 中的CLI 是可能的

./bin/kafka-consumer-groups \
    --bootstrap-server <bootstrap_server(s)> \
    --topic <topic_name> \
    --delete \
    --group <consumer_group_name> 

kafka-consumer-groups应该可以在 Kafka 安装主页中找到。

Answer 2

从 Kafka 0.9 开始，内部主题用于存储提交的偏移量。您可以通过配置这些偏移量应保留多长时间offsets.retention.minutes。（也可以看看offsets.retention.check.interval.ms）。