Apache NiFi和StreamSet

Question

Apache NiFi是否比StreamSet慢？

我创建了一个管道，该管道从Kafka主题接收数据并将数据转储到Apache NiFi和StreamSets中的另一个Kafka主题中，但是StreamSets比NiFi快得多。

我在NiFi和StreamSets中的KafkaConsumer中使用了消耗kafkaRecord处理器。

Answer 1

我对NiFi非常熟悉。如果仅从每个节点的速度来看，我认为NiFi在特定情况下没有优于Streamset的优势。NiFi旨在处理任意来源和接收者，这意味着它通常不也不应假设任何来源的交易行为。尽管Kafka确实提供了一种出色的设计模式，包括获取数据，处理事务，将数据发送到kafka或其他地方，然后确认响应。NiFi社区正在采用NiFi-FN方法，这是一种越来越普遍和可扩展的模式，该方法既使一般的数据分配情况也使这种情况在NiFi中成为最佳选择。当您查看耐用性，可靠性，数据和源/汇的多样性以及内置来源时，NiFi带来了许多真正重要的优势。如果您需要的只是perf，并且对于这种特定情况，Streamsets更好，或者我建议使用Spark / Spark Streaming。如果您的需求将超出此处所述的范围，并且仅针对数据分发/数据流管理，那么NiFi将绝对是最佳选择。