为什么我们在YARN中配置mapred.job.tracker？

Question

我所知道的是YARN,它取代了JobTracker和TaskTracker.

我已经看到一些Hadoop 2.6.0/2.7.0安装教程,他们将配置mapreduce.framework.name为yarn和mapred.job.trackerproperty作为local或host:port.

mapred.job.tracker财产的描述是

"MapReduce作业跟踪器运行的主机和端口.如果是"本地",则作业将作为单个映射在进程中运行并减少任务."

我怀疑是为什么要配置它,如果我们使用YARN,我的意思是JobTracker不应该正常运行？

如果我的问题是愚蠢的,请原谅我.

编辑:这些是我正在谈论的教程.

http://chaalpritam.blogspot.in/2015/01/hadoop-260-multi-node-cluster-setup-on.html

http://pingax.com/install-apache-hadoop-ubuntu-cluster-setup/

https://chawlasumit.wordpress.com/2015/03/09/install-a-multi-node-hadoop-cluster-on-ubuntu-14-04/

Answer 1

这只是一个猜测,但是那些关于在YARN中配置JobTracker的教程都是由不知道YARN是什么的人编写的,或者他们设置它以防你有一天决定停止使用YARN.你是对的:YARN中不存在JobTracker和TaskTracker.您可以根据需要添加属性,但会忽略它们.替换JobTracker和TaskTracker的每个组件的新属性都添加了YARN,例如yarn.resourcemanager.address要替换mapred.jobtracker.address.

如果在YARN下运行Hadoop时列出Java进程,则看不到JobTracker或TaskTracker:

10561 Jps
20605 NameNode
17176 DataNode
18521 ResourceManager
19625 NodeManager
18424 JobHistoryServer

您可以在此处详细了解YARN的工作原理.