相关疑难解决方法(0)

Kafka:使用通用消费者组访问多个主题

我们的集群运行 Kafka 0.11,并且对使用消费者组有严格的限制。我们不能使用任意的消费者组,因此管理员必须创建所需的消费者组。

我们运行 Kafka Connect HDFS Sinks 从主题读取数据并写入 HDFS。所有主题只有一个分区。

在 Kafka HDFS Sink 中使用消费者组时,我可以考虑以下两种模式。

如图所示:

案例一:每个topic都有自己的Consumer Group 在此处输入图片说明

案例 2:所有主题都有一个共同的消费者组 在此处输入图片说明

我知道当一个主题有多个分区时,如果一个消费者失败,同一消费者组中的另一个消费者将接管该分区。

我的问题 :

当多个主题共享同一个消费群体时,是否会发生同样的事情?即:如果消费者失败(HDFS 接收器),另一个消费者(HDFS 接收器连接器)是否会接管工作并读取该主题?

更新:每个 Kafka HDFS Sink Connector 只订阅一个主题。

apache-kafka apache-kafka-connect

22
推荐指数
1
解决办法
1万
查看次数

标签 统计

apache-kafka ×1

apache-kafka-connect ×1