Hadoop gen1 vs Hadoop gen2

Question

我对Hadoop-2.x中tasktracker的位置感到有点困惑.

Hadoop-1.x中的守护进程是namenode, datanode, jobtracker, taskracker and secondarynamenode

Hadoop-2.x中的守护进程是namenode, datanode, resourcemanager, applicationmaster, secondarynamenode.

这意味着 Jobtracker has split up into: resourcemanager and applicationmaster

那么在哪里tasktracker？

Answer 1

是的，Jobtracker被分为资源管理器和应用程序母版。应用程序主服务器根据提交的作业数在一个或所有节点管理器实例上运行。因此，在提交作业时，资源管理器会与一个免费的节点管理器进行对话，以充当应用程序主控器，而该应用程序主控器现在将成为作业跟踪器，其他节点管理器将成为执行Yarn子级的任务跟踪器。如果我错了纠正我。

Answer 2

在YARN(Hadoop 2中的新执行框架)中,MapReduce不像以前那样存在.

YARN是一种在群集上分配资源的更通用的方法.ResourceManager,ApplicationMaster和NodeManager现在包含新的YARN执行框架.NodeManager是每个节点上的守护进程,所以我猜你可以说替换了TaskTracker.但现在它只是提供流程而不仅仅是映射任务和减少任务.

MapReduce仍然存在,但它现在是YARN的"应用程序".

以下是对YARN的介绍,它将深入探讨:http://hortonworks.com/blog/introducing-apache-hadoop-yarn/