从 Rest API 发送数据到 kafka

Question

我刚刚开始学习 Kafka，我正在尝试构建一个原型来拥有一个 REST API 生产者并将数据发送给 Kafka 消费者。我查阅了大量文档来找出一些特定的程序。

我无法理解是否有一个连接器可以像为 Apache Kafka 提供的文件连接器或 JDBC 连接器一样使用。我应该为此编写一个自定义连接器吗？

我很困惑从哪里开始。我特别寻找一些关于如何完成这项工作的结构化文档或想法。

Answer 1

听起来您正在谈论REST Proxy中已存在的功能。这提供了一个 REST API，用于将数据生成到 Kafka 中，或使用来自 Kafka 的数据。

编辑：从您的评论中我了解到您的问题有所不同。如果您想将数据从 REST 端点提取到 Kafka，您可以使用 Kafka Connect 和kafka-connect-rest插件。这里有一个使用它的例子。