我打算做一个类项目,并且经历了一些技术,我可以自动化或设置系统之间的数据流,并发现它们有几个,即Apache NiFi和StreamSets(据我所知).我无法理解的是它们与可以使用它们的用例之间的区别?我是新手,如果有人能解释我,我会非常感激.谢谢
我正在阅读与Kafka和StreamSets相关的文章,我的理解是
Kafka充当生产者系统和订户之间的中间人。生产者将数据推送到Kafka集群中,订阅者从Kafka提取数据
StreamsSets是一项通过管道将数据从一个源移动到另一个源的技术
现在,以下是我的问题,请帮助澄清
Kafka和StreamSets之间的根本区别是什么?是Kafka不会移动数据,而是StreamSets会移动数据吗?
如果Kafka不移动数据,Kafka的用途是什么?如果它像ETL解决方案那样移动数据,它与SSIS,Informatica等有何不同?
StreamSet与SSIS,Informatica等有何不同?
Apache NiFi是否比StreamSet慢?
我创建了一个管道,该管道从Kafka主题接收数据并将数据转储到Apache NiFi和StreamSets中的另一个Kafka主题中,但是StreamSets比NiFi快得多。
我在NiFi和StreamSets中的KafkaConsumer中使用了消耗kafkaRecord处理器。