我目前正在学习hadoop,但我常常想知道Hadoop是否是支持分布式应用程序的唯一软件框架.我想了解在大数据空间中是否存在除Hadoop之外的任何其他框架.
Sag*_*kam 30
Hadoop替代品
• Apache Spark - 开源集群计算系统,旨在快速实现数据分析 - 快速运行和快速写入.
• GraphLab - 重新设计的完全分布式API,HDFS集成和各种新的机器学习工具包.
• HPCC Systems - (高性能计算集群)是一个庞大的并行处理计算平台,可以解决大数据问题.
• Dryad--正在研究用于编写并行和分布式程序的编程模型,以便从小型集群扩展到大型数据中心.
• Apache Flink - 开源分布式数据处理平台.分布式程序表示为运算符的DAG(例如join,map,group,..)
• Storm - 是一个免费的开源分布式实时计算系统.Storm可以轻松可靠地处理无限数据流,实时处理Hadoop为批处理所做的工作.风暴很简单,可以与任何编程语言一起使用,并且使用起来很有趣!
• R3 - 是一个使用redis后端用python编写的map reduce引擎.
• Disco - 是一种基于MapReduce范例的轻量级开源框架,用于分布式计算.
• Phoenix - 是用于数据密集型处理任务的Google MapReduce模型的共享内存实现.
• Plasma - PlasmaFS是用于大型文件的分布式文件系统,在用户空间中实现.Plasma Map/Reduce运行着名的算法方案,用于映射和重新排列大文件.Plasma KV是PlasmaFS之上的关键/值数据库
• Peregrine - 是一个map reduce框架,用于跨数据分区运行迭代作业.
• httpmr - 适用于具有Web群集的人员的可扩展数据处理框架.
• 扇区/领域 - 扇区是一种高性能,可扩展且安全的分布式文件系统.Sphere是一种高性能并行数据处理引擎,可以使用非常简单的编程接口处理存储节点上的扇区数据文件.
• Filemap - 是一个轻量级系统,用于将Unix风格的文件处理工具应用于存储在文件中的大量数据.
• misco - 是专为移动设备设计的分布式计算框架
• MR-MPI - 是一个库,它是在标准MPI消息传递之上为分布式内存并行机器编写的MapReduce的开源实现
• GridGain - 内存计算
全面的列表 - Hadoop以外的项目!
| 归档时间： |
|
| 查看次数： |
6542 次 |
| 最近记录： |