Kafka 连接或 Kafka 客户端

Question

我需要从 Kafka 主题中获取消息并通过基于 HTTP 的 API 通知其他系统。也就是说，从主题获取消息，映射到第 3 方 API 并调用它们。我打算为此编写一个 Kafka Sink 连接器。

对于这个用例，Kafka Connect 是正确的选择还是我应该使用 Kafka Client。

Answer 1

Kafka Connect 将很好地用于此目的，但这也将是一个非常简单的消费者应用程序，因为消费者还具有容错/可扩展性的好处，在这种情况下，您可能只是一次执行简单的消息在每个消费者实例内进行处理。您还可以轻松地使用enable.auto.commit此应用程序，因此您不会遇到直接使用消费者的棘手部分。与在这种情况下使用消费者相比，使用 Kafka Connect 的主要作用是连接器可以针对不同的输入格式进行通用，但这对于自定义连接器来说可能并不重要。