我希望从Kafka消费数据并将数据保存到Hadoop和Elasticsearch中。我目前已经看到了两种方法:使用Filebeat从Kafka消费并将其发送到ES,以及使用Kafka-Connect框架。有一个Kafka-Connect-HDFS和Kafka-Connect-Elasticsearch模块。
我不确定要使用哪个发送流数据。虽然我认为如果我想在某个时候从Kafka中获取数据并将其放入Cassandra中,我可以为此使用Kafka-Connect模块,但是Filebeat没有这样的功能。