小编Ser*_*gey的帖子

我们有一个带有 4 个代理的 kafka 集群和一些具有副本因子 1 和 10 分区的主题。在某一时刻，我们的 4 个服务器中有 2 个带有 kafka 集群 - 失败。所以现在我们有 2 个具有相同主题的经纪人。当我m run command ./kafka_topics.sh --zookeeper localhost:2181 --describe i得到这个时：

Topic:outcoming-notification-error-topic        PartitionCount:10       ReplicationFactor:1     Configs:
    Topic: outcoming-error-topic       Partition: 0    Leader: 2       Replicas: 2     Isr: 2
    Topic: outcoming-error-topic       Partition: 1    Leader: 3       Replicas: 3     Isr: 3
    Topic: outcoming-error-topic       Partition: 2    Leader: 4       Replicas: 4     Isr: 4
    Topic: outcoming-error-topic       Partition: 3    Leader: 1       Replicas: 1     Isr: 1
    Topic: outcoming-error-topic       Partition: 4    Leader: 2       Replicas: 2 …

请帮忙

我们有 2 个 kafka 主题。我想从 topic1 开始复制 10 条消息到 topic2。

我尝试使用kafka-console-consumer和kafka-console-producer

首先，我将 10 条消息从 topic1 保存到某个目录：

for (( i=1; i<=10; i++ )); do bin/kafka-console-consumer.sh --bootstrap-server 1.1.2.3:9092 --group CONSUMER1 --topic TOPIC1 --max-messages 1 > /tmp/_topic/$i.msg; done;

然后我尝试使用 kafka-console-producer 将其发送到 topic2：

for (( i=1; i<=10; i++ )); do  bin/kafka-console-producer.sh --broker-list 1.1.2.4:9092 --topic TOPIC2 < /tmp/_topic/$i.msg; done;

我遇到错误 - 我的服务无法反序列化数据。我的问题是：

1. 我的解决方案行得通吗？
2. 为什么我可以收到这个错误？
3. 将消息从一个主题复制到另一个主题一次的最佳方法是什么？

UPD：我如何解决这个问题（感谢：Robin Moffatt）：我使用 kafka-mirror 和这个 jar ：https : //github.com/opencore/mirrormaker_topic_rename 我可以将消息从一个主题 kafka 复制到另一个主题簇