AWS MSK 和 Confluence SchemaRegistry 以及 Confluence Kafka 连接如何建议一起使用？

Question

我们计划将 AWS MSK 服务用于托管 Kafka 和架构注册表以及 Confluence 的 Kafka Connect 服务来运行我们的连接器（Elasticsearch Sink Connector）。我们计划在 EC2 中运行架构注册表和连接器。

根据 Confluence 团队的说法，如果我们对 Kafka 使用 MSK，他们将无法正式支持 Confluence Schema Registry 和 Kafka Connect。

那么，有谁可以分享一下他们的经验吗？就像 Anybuddy 在生产环境中组合使用 MSK 和 Confluence 服务一样吗？

使用这种组合有风险吗？

是否推荐使用这种组合？

如果我们遇到连接器方面的任何问题，Confluence 社区如何提供支持？

还有其他建议、意见或替代方案吗？

我们已经拥有 Confluence 企业平台许可证，但我们希望拥有托管 Kafka 服务，这就是我们选择 AWS MKS 的原因，因为根据我们的分析，它比 Confluence Cloud 非常经济高效？

请分享您的想法并提前致谢。

谢谢

Answer 1

客观地回答你的问题这是可行的，但这取决于你的主要痛苦在哪里。

从许可的角度来看，没有什么强制您仅仅为了使用 Kafka Connect 或 Schema Registry 就必须订阅 Confluence，因为它们分别基于 Apache License 2.0 和 Confluence Community License。

从技术角度来看，您可以在 EC2 上运行 Kafka Connect 和 Schema Registry；只要它们与 MSK 集群在同一 VPC 中运行，它们就能完美运行。

从成本角度来看，您必须评估由您和/或您的团队管理 Kafka Connect 和模式注册表的成本。不仅要考虑安装和设置阶段，还要考虑管理和发展阶段。该软件可能没有任何成本，但操作这些组件的努力可以转化为成本。

如果我们遇到连接器方面的任何问题，Confluence 社区如何提供支持？

无论您是在 Apache Kafka 用户组还是 Confluence 在 Slack 中拥有的社区寻求帮助，Kafka 社区通常都会非常有帮助。当然，这一切都需要尽力而为，您不能依赖他们来获得支持。可能需要几天的时间，一些好心的撒玛利亚人才会决定帮助你。这也转化为成本：停机和/或等待解决方案的成本是多少？

我不再是 Confluence 员工，因此我什至不会试图说服您从他们那里购买。但是您应该评估成本的这一部分，并检查使用 Confluence Cloud 是否不会为您提供更具成本效益的解决方案，因为它包括 Kafka、Kafka Connect 和 Schema Registry 的托管版本。根据我的经验，Confluence Cloud 上的托管 Kafka 成本并不高，而且托管架构注册表是“免费”的，但使用托管连接器可能会非常昂贵，而且根据您在托管中配置的任务数量，情况可能会更糟。连接器。这是您应该注意的唯一问题。