Hadoop 1和Hadoop 2之间的差异

Question

据我所知,我知道Hadoop 1和2之间只有一个差异.

其主动和被动的二级名称节点.

有人可以列出Hadoop 1和2之间的区别吗？

Answer 1

Hadoop 1

1. Hadoop 1.x仅支持MapReduce(MR)处理模型.不支持非MR工具.
2. MR执行处理和群集资源管理.
3. 1.x具有有限的节点缩放.每个群集限制为4000个节点.
4. 适用于插槽的概念 - 插槽只能运行Map任务或Reduce任务.
5. 用于管理整个命名空间的单个Namenode.
6. 1.x具有单点故障(SPOF) - 由于单个Namenode-并且在Namenode失败的情况下,需要手动干预才能克服.
7. MR API与Hadoop 1x兼容.用Hadoop1编写的程序在Hadoop1x中执行,没有任何其他文件.
8. 1.x具有作为事件处理,流媒体和实时操作平台的限制.

Hadoop 2

1. Hadoop 2.x允许在MR以及其他分布式计算模型(如Spark,Hama,Giraph,消息传递接口)MPI和HBase协处理器中工作.
2. YARN(又一个资源协商器)进行集群资源管理和处理是使用不同的处理模型完成的.
3. 2.x具有更好的可扩展性.每个群集最多可扩展10000个节点.
4. 适用于容器的概念.使用容器可以运行通用任务.
5. 多个Namenode服务器管理多个名称空间.
6. 2.x具有使用备用Namenode克服SPOF的功能,并且在Namenode失败的情况下,它配置为自动恢复.
7. MR API要求在Hadoop1x中编写的程序的其他文件在Hadoop2x中执行.
8. 可以作为各种数据分析的平台 - 可以运行事件处理,流式传输和实时操作.