小编Dee*_*thy的帖子

如何将Kafka主题加载到HDFS?

我正在使用hortonworks沙箱.
创建主题:

./kafka-topics.sh --create --zookeeper 10.25.3.207:2181 --replication-factor 1 --partitions 1 --topic lognew  
Run Code Online (Sandbox Code Playgroud)

拖尾apache访问日志目录:

tail -f  /var/log/httpd/access_log |./kafka-console-producer.sh --broker-list 10.25.3.207:6667 --topic lognew  
Run Code Online (Sandbox Code Playgroud)

在另一个终端(kafka bin)启动消费者:

./kafka-console-consumer.sh --zookeeper 10.25.3.207:2181 --topic lognew --from-beginning  
Run Code Online (Sandbox Code Playgroud)

apache访问日志将发送到kafka主题" lognew ".

我需要将它们存储到HDFS.
有关如何执行此操作的任何想法或建议.

提前致谢.
Deepthy

hadoop apache-kafka

7
推荐指数
1
解决办法
7126
查看次数

标签 统计

apache-kafka ×1

hadoop ×1