我们的集群运行 Kafka 0.11,并且对使用消费者组有严格的限制。我们不能使用任意的消费者组,因此管理员必须创建所需的消费者组。
我们运行 Kafka Connect HDFS Sinks 从主题读取数据并写入 HDFS。所有主题只有一个分区。
在 Kafka HDFS Sink 中使用消费者组时,我可以考虑以下两种模式。
如图所示:
案例一:每个topic都有自己的Consumer Group

我知道当一个主题有多个分区时,如果一个消费者失败,同一消费者组中的另一个消费者将接管该分区。
我的问题 :
当多个主题共享同一个消费群体时,是否会发生同样的事情?即:如果消费者失败(HDFS 接收器),另一个消费者(HDFS 接收器连接器)是否会接管工作并读取该主题?
更新:每个 Kafka HDFS Sink Connector 只订阅一个主题。