如何整合Storm和Kafka

Question

我在Storm工作并开发了一个基本程序,它使用本地文本文件作为输入源.但现在我必须处理来自外部系统的流数据.为此,卡夫卡是最佳选择.

问题是如何让我的Spout从Kafka获取流数据.或者如何将Storm与Kafka集成.我怎么能这样做,所以我可以处理来自Kafka的数据？

Answer 1

寻找KafkaSpout.

这是从Kafka集群读取的正常Storm Spout实现.您只需要使用诸如list of brokers,topic name等等参数配置该喷口.您可以简单地将输出链接到相应的螺栓以进行进一步处理.

从上面提到的同一个doc,配置如下:

SpoutConfig spoutConfig = new SpoutConfig(
      ImmutableList.of("kafkahost1", "kafkahost2"), // List of Kafka brokers
      8, // Number of partitions per host
      "clicks", // Topic to read from
      "/kafkastorm", // The root path in Zookeeper for the spout to store the consumer offsets
      "discovery"); // An id for this consumer for storing the consumer offsets in Zookeeper

KafkaSpout kafkaSpout = new KafkaSpout(spoutConfig);