Kafka-HDFS-Connector- 将数据从 Kafka 发送到 Hadoop

Viv*_*vek 2 hadoop hdfs apache-kafka confluent-platform

在机器A 中kafka 正在运行,在机器B中安装了 hadoop。现在我想从 kafka 向 hadoop 写入数据。我已经在 Machine A 中安装了 Confluent Platform 。

任何人都可以指导我必须添加哪些配置才能将数据从 kafka 写入在不同机器上运行的 hadoop

Rob*_*att 5

您可以在此处找到 Kafka Connect HDFS连接器的完整文档。

快速入门中有一个教程。要试用,请etc/kafka-connect-hdfs/quickstart-hdfs.properties根据需要进行修改,然后使用

confluent load hdfs-sink -d etc/kafka-connect-hdfs/quickstart-hdfs.properties
Run Code Online (Sandbox Code Playgroud)