如何将主题从一个kafka集群复制到另一个kafka集群？

Question

正如 Kafka 文档所示，实现这一点的一种方法是通过kafka.tools.MirrorMaker来实现这一点。但是，我需要将一个主题（例如使用 1 个分区进行测试）（其内容和元数据）从生产环境复制到不存在连接的开发环境。不过，我可以在环境之间进行简单的文件传输。我的问题：如果我将*.log和.index从文件夹test-0移动到目标 Kafka 集群，这样就足够了吗？或者我还需要做更多的事情，比如元数据和 ZooKeeper 相关数据，我也需要移动？

Answer 1

仅仅复制日志和索引是不够的——kafka 在 Zookeeper 中存储偏移量和主题元数据。MirrorMaker 实际上是一个非常简单的工具，它生成源主题的消费者以及目标主题的生产者，并运行直到所有消费者都消耗了源队列。您找不到更简单的主题迁移过程。