如何将apache nifi摄取处理器集成/连接到Apache kafka?

RAH*_*MAR -3 apache-kafka apache-nifi

我想将数据从Apache nifi的摄取处理器之一推送到Kafka,再推送到HDFS进行存储。

是否可以将Apache nifi的提取处理器与Kafka连接?

cri*_*007 5

Nifi附带了几种Kafka处理器。

添加一个时,只需在搜索框中输入Kafka。使用与您的Kafka安装相匹配的版本。例如,绝对不要在安装Kafka 0.10.x的情况下运行Kafka08版本处理器(称为GetKafka和PutKafka)

当然,您需要设置引导服务器,然后设置您关心的其他任何生产者属性,例如主题名称

将ConsumeKafka处理器连接到PutHdfs


Sidenote Kafka Connect HDFS使用纯粹基于Kafka的API方法将数据从Kafka传送到Hadoop。除非您要摄取其他类型的数据,否则您不需要Nifi