有没有办法将 Kafka 消息从一台服务器上的主题转发到另一台服务器上的主题？

Question

我有一个场景，我们使用 FluentD 代理将应用程序日志转发到 Kafka 主题，因为 Kafka 团队引入了 Kerberos 身份验证，而 fluenceD 版本不支持此身份验证，我无法直接使用转发日志。现在我们引入了一个没有身份验证的新 Kafka 服务器，并在那里创建了一个主题，我想使用 Kafka 连接器将消息从新服务器中的这个主题转发到另一个服务器中的另一个主题，想知道如何实现这一点？

Answer 1

有多种不同的工具可让您将消息从一个集群上的 Kafka 主题流式传输到另一个集群，包括：

• MirrorMaker （开源，Apache Kafka 的一部分）
• Confluence 的Replicator（商业工具，30 天免费试用）
• uReplicator（Uber开源）
• Mirus（来自 Salesforce 的开源）
• 布鲁克（开源）

免责声明：我在 Confluence 工作。