相关疑难解决方法(0)

纱线的基础设施层与原始地图缩减架构的区别在于以下方式:

在YARN中,作业跟踪器被分为两个不同的守护进程,称为Resource Manager和Node Manager(特定于节点).除了包括仅处理调度作业的调度程序而不担心任何监视或状态更新之外,资源管理器仅管理对不同作业的资源分配.内存,CPU时间,网络带宽等不同资源被放入一个称为的单元Resource Container.AppMasters在不同节点上有不同的运行,它们与许多这些资源容器通信,因此使用监视/状态详细信息更新节点管理器.

我想知道使用这种方法如何从map-reduce角度提高性能？此外,如果纱线背后的动机及其对Map-reduce的现有实施的好处有任何明确的内容,请指出我的相同内容.

关于如何开发新的MapReduce2应用程序以与YARN一起工作以及旧的应用程序会发生什么,我有点困惑.

我目前有MapReduce1应用程序,主要包括:

• 配置要提交到集群的作业的驱动程序(以前的JobTracker和现在的ResourceManager).
• Mappers + Reducers

从一方面我看到MapReduce1中编码的应用程序在MapReduce2/YARN中是兼容的,有一些注意事项,只需重新编译新的CDH5库(我使用Cloudera发行版).

但是从另一方面来说,我看到有关以与MapReduce不同的方式编写YARN应用程序的信息(使用YarnClient,ApplicationMaster等):

http://hadoop.apache.org/docs/r2.7.0/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html

但对我来说,YARN只是架构以及集群如何管理您的MR应用程序.

我的问题是:

1. YARN申请是否包括MapReduce申请？
2. 我应该像YARN应用程序一样编写代码,忘记驱动程序和创建Yarn客户端ApplicationMasters等等吗？
3. 我还可以使用驱动程序+作业设置开发客户端类吗？是MapReduce1(使用MR2库重新编译)作业YARN 以与YARN应用程序相同的方式管理？
4. MapReduce1应用程序和YARN应用程序之间在YARN内部管理它们的方式有何不同？

提前致谢