需要Java代码才能使用Confluent kafka connect HDFS API

Question

我是卡夫卡的初学者.试图将数据从kafka写入hdfs.在任何地方都没有记录如何使用Confluent的kafka-connect-hdfs Java API.任何链接或代码段都会对我有所帮助.提前致谢.

Answer 1

您不需要使用Java API.可以从命令行或REST API使用KafkaConnect ...即使您从Java触发连接器,REST API仍然可以工作.

一些文档可以帮助您入门:

首先,KafkaConnect快速入门,只是为了确保您的系统处于良好状态,然后再尝试做一些先进的事情:http: //docs.confluent.io/3.0.0/connect/intro.html#quickstart

如果您是Kafka的新手,甚至可以早些开始使用Kafka快速入门:http: //docs.confluent.io/3.0.0/quickstart.html

一旦更多单机工作,请尝试切换到分布式模式并查看REST API:http: //docs.confluent.io/3.0.0/connect/userguide.html#rest-interface

然后尝试HDFS连接器.要么从快速入门开始:http: //docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart

或博客教程:http: //www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect

希望这对你的方式有所帮助.