如何使用Kafka镜像制作器复制模式？

Question

我们正在使用镜像生成器来同步本地和 AWS Kafka 主题。如何在其他集群（本例中为 AWS）中以完全相同的方式复制在本地注册的架构的主题？如何使用镜像制作器复制 Avro 架构？

Answer 1

MirrorMaker 仅复制字节数组，而不复制模式。并且不关心数据的格式

从 Confluence 4.x 或更高版本开始，Schema Registry 添加了端点GET /schemas/ids/(number)。因此，如果您的使用者配置为原始注册表，这应该不重要，因为您的目标使用者可以查找架构 ID。

您也可以_schemas在使用 Confluence Replicator 时按照 Confluence 的建议镜像该主题

如果您绝对需要一对一模式复制，则需要实现一个MessageHandler接口，并将其传递给 MirrorMaker 命令，以获取和发布模式，类似于我添加到此 Kafka Connect 插件的内部逻辑（其中您可以使用 Connect 而不是 MirrorMaker）。https://github.com/OneCricketeer/schema-registry-transfer-smt