我正在尝试设置 Kafka Mirror 机制,但似乎来自源 Kafka 集群的 Kafka MirrorMaker 的使用者仅在镜像制造商进程启动后才从新传入的数据读取到主题,即它不会读取历史上保存的数据之前的话题。
我为此使用 Kafka MirrorMaker 类:
/bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config consumer.config --num.streams 2 --producer.config producer.config --whitelist=".*"
consumer.config
从 Kafka 源集群读取,如:
zookeeper.connect=127.0.0.1:2181
zookeeper.connection.timeout.ms=6000
group.id=kafka-mirror
以及producer.config
生成新 Kafka 镜像集群的设置:
metadata.broker.list=localhost:9093
producer.type=sync
compression.codec=none
serializer.class=kafka.serializer.DefaultEncoder
有没有办法定义 Kafka MirrorMaker 的消费者从我的源 Kafka 集群的主题开始读取?有点奇怪,因为我在consumer.config
设置中定义了一个新的消费者组 ( kafka-mirror
),所以消费者应该只是从offset 0
,即从主题的开头读取。
提前谢谢了!