kafka 连接器 HTTP/API 源

Question

我实际上知道如何从任何数据源捕获数据，例如特定的 API（例如 HTTP GET 请求）并将它们摄取到特定的 kafka 连接器中。

{
    "name": "localfileSource", 
    "config": {
        "connector.class": "FileStreamSourceConnector",
        "tasks.max": "1",
        "file": "test.txt",
        "topic": "connectSource"
    }
}

我需要类似于 this( FileStreamSourceConnector) 的东西，它可以与 API 源一起使用。

Answer 1

对于提问者来说可能有点晚了，但我有类似的需求，所以我决定实现我自己的连接器。

连接器的特殊性在于它实现了某种变更数据捕获

如果它可以帮助其他人，您可以在这里找到它：castorm/kafka-connect-http

Answer 2

您始终可以构建自己的连接器，以一组间隔从 http 源进行流传输相对简单。

我知道您可能已经解决了您的问题，可以找到一个简单的实现： https: //github.com/pegerto/kafka-connect-http

问候。