小编use*_*708的帖子

Kafka MirrorMaker 的消费者没有从主题中获取所有消息

我正在尝试设置 Kafka Mirror 机制,但似乎来自源 Kafka 集群的 Kafka MirrorMaker 的使用者仅在镜像制造商进程启动后才从新传入的数据读取到主题,即它不会读取历史上保存的数据之前的话题。

我为此使用 Kafka MirrorMaker 类:

/bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config consumer.config --num.streams 2 --producer.config producer.config --whitelist=".*"

consumer.config 从 Kafka 源集群读取,如:

zookeeper.connect=127.0.0.1:2181

zookeeper.connection.timeout.ms=6000

group.id=kafka-mirror

以及producer.config生成新 Kafka 镜像集群的设置:

metadata.broker.list=localhost:9093

producer.type=sync

compression.codec=none

serializer.class=kafka.serializer.DefaultEncoder

有没有办法定义 Kafka MirrorMaker 的消费者从我的源 Kafka 集群的主题开始读取?有点奇怪,因为我在consumer.config设置中定义了一个新的消费者组 ( kafka-mirror),所以消费者应该只是从offset 0,即从主题的开头读取。

提前谢谢了!

scala apache-kafka

4
推荐指数
2
解决办法
4442
查看次数

标签 统计

apache-kafka ×1

scala ×1