Kafka 适合运行公共 API 吗?

Joe*_*Joe 6 apache-kafka kafka-consumer-api

我有一个想要发布的事件流。它被划分为多个主题,不断更新,需要水平扩展(并且没有 SPOF 很好),并且可能需要在某些情况下重播旧事件。所有的功能似乎都与 Kafka 的功能相匹配。

我想通过任何人都可以连接并获取事件的公共 API 将其发布到全世界。Kafka 是否适合作为公共 API 公开?

我已阅读文档页面,但尚未更深入。ACL 似乎是明智的。

我的担忧

  1. 消费者将遍布世界任何地方。从 Kafka 的架构来看,我不认为这是一个问题。消息的速率可能不会超过每秒 10 条。

  2. 与 Zookeeper 的集成有问题吗?

  3. 是否存在任何我无法控制的反对让订户客户端连接的论点?

Mar*_* An 0

  1. 是否存在任何我无法控制的反对让订户客户端连接的论点?

我要考虑的问题之一是可能发生的group.id碰撞。

假设您有一个主题供全世界使用您的消息。

现在,如果您的一个客户端拥有多节点系统,并且希望避免两次读取相同的消息,他们将为group.id两个节点设置相同的值,形成一个消费者组。

但是,如果世界上其他人使用同样的东西怎么办group.id?它们会影响第一个客户端,导致其丢失消息。这个级别似乎没有安全感。