18b*_*tes 27 streaming hadoop apache-storm
Storm如何与Hadoop相比？Hadoop似乎是开源大规模批处理的事实标准,Storm有没有优于hadoop的优势？还是他们完全不同？
pyf*_*unc 37
你为什么不说出你的意见.
Twitter Storm被吹捧为实时Hadoop.这更像是一种易于消费的营销方式.
它们表面上相似,因为它们都是分布式应用程序解决方案.除了典型的分布式建筑元素,如主/从,基于zookeeper的协调,对我的比较从悬崖上掉下来.
Twitter更像是处理数据的管道.管道连接各种计算节点,接收数据,计算和交付输出.(语言是喷口和螺栓)将这个类比扩展到复杂的管道布线,可以在需要时重新设计并获得Twitter Storm.
在坚果壳中,它处理数据.没有延迟.
Hadoop在这方面的差异主要是由于HDFS.它是一种适用于分布式存储的解决方案,可以承受许多规模(磁盘,机器,机架等)的中断
M/R旨在利用HDFS上的数据本地化来分配计算任务.它们一起不提供实时数据处理的便利.但是,当您查看大数据时,这并不总是必需的.(大海捞针比喻)
简而言之,Twitter Storm是一种分布式实时数据处理解决方案.我认为我们不应该比较它们.Twitter建立了它,因为它需要一个工具来处理小推文,而且需要实时处理大量推文.
请参阅:HStreaming如果您被迫将其与某些东西进行比较