小编Fra*_*ran的帖子

MapReduce 2对YARN应用程序

关于如何开发新的MapReduce2应用程序以与YARN一起工作以及旧的应用程序会发生什么,我有点困惑.

我目前有MapReduce1应用程序,主要包括:

  • 配置要提交到集群的作业的驱动程序(以前的JobTracker和现在的ResourceManager).
  • Mappers + Reducers

从一方面我看到MapReduce1中编码的应用程序在MapReduce2/YARN中是兼容的,有一些注意事项,只需重新编译新的CDH5库(我使用Cloudera发行版).

但是从另一方面来说,我看到有关以与MapReduce不同的方式编写YARN应用程序的信息(使用YarnClient,ApplicationMaster等):

http://hadoop.apache.org/docs/r2.7.0/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html

但对我来说,YARN只是架构以及集群如何管理您的MR应用程序.

我的问题是:

  1. YARN申请是否包括MapReduce申请?
  2. 我应该像YARN应用程序一样编写代码,忘记驱动程序和创建Yarn客户端ApplicationMasters等等吗?
  3. 我还可以使用驱动程序+作业设置开发客户端类吗?是MapReduce1(使用MR2库重新编译)作业YARN 以与YARN应用程序相同的方式管理?
  4. MapReduce1应用程序和YARN应用程序之间在YARN内部管理它们的方式有何不同?

提前致谢

mapreduce hadoop-yarn hadoop2

4
推荐指数
1
解决办法
3361
查看次数

标签 统计

hadoop-yarn ×1

hadoop2 ×1

mapreduce ×1