是否可以向 kafka 主题发送 websocket 消息？

Question

我正在尝试找到一种方法来使用由 websocket 发送到 kafka 主题的消息（消息由 websocket 发送到地址“ws://address:port/topic_name”，我想添加所有这些发送到 kafka 主题的消息）。我读到了有关 kafka connect 的内容，并试图找到一种方法来使用它，但它似乎不起作用......提前感谢:)

Answer 1

Confluence 平台中没有连接到套接字的 Kafka 连接器。

我在一个在生产中使用 Kafka 的团队工作，我们的源是一个套接字，所以你的选择是使用支持此套接字的平台->Kafka 生产，或者自己编写一个。

关于可能的平台，我认为尽管您可以利用它们来解决这个问题，但它们中的大多数都将是矫枉过正，一些选项是：
1. NiFi或MiniFi对于较小的负载，使用PublishKafka Processor
2. StreamSets与Kafka Producer Destination
3. Apache Flume - 不是非常推荐，这个项目已经停止发展了。

如果你想编写自己的生产者，你基本上必须在这个端口上创建一个监听器，并将传入的消息生成到 Kafka；如果这是一个 Web 套接字，只需获取请求的有效负载并将其生成到 Kafka。示例 Kafka 生产者代码可以从教程点简单生产者示例
复制*

以下是一些开源项目示例：
1. https://github.com/DataReply/kafka-connect-socket-source
2. https://github.com/kafka-socket/miniature_engine
3. https://github .com/dhanuka84/kafka-connect-tcp
4. https://github.com/krux/tcp-stream-kafka- Producer