我正在使用hortonworks沙箱.
创建主题:
./kafka-topics.sh --create --zookeeper 10.25.3.207:2181 --replication-factor 1 --partitions 1 --topic lognew
Run Code Online (Sandbox Code Playgroud)
拖尾apache访问日志目录:
tail -f /var/log/httpd/access_log |./kafka-console-producer.sh --broker-list 10.25.3.207:6667 --topic lognew
Run Code Online (Sandbox Code Playgroud)
在另一个终端(kafka bin)启动消费者:
./kafka-console-consumer.sh --zookeeper 10.25.3.207:2181 --topic lognew --from-beginning
Run Code Online (Sandbox Code Playgroud)
apache访问日志将发送到kafka主题" lognew ".
我需要将它们存储到HDFS.
有关如何执行此操作的任何想法或建议.
提前致谢.
Deepthy