hadoop jar和yarn -jar之间的差异

mrc*_*rcf 9 command hadoop mapreduce hadoop-yarn

使用命令"hadoop jar"和"yarn -jar"运行jar文件有什么区别?

我已经在我的MAC上成功使用了"hadoop jar"命令但是我想确保执行是正确的并且在我的四个核心上是并行的.

谢谢!!!

Mik*_*ark 8

简答

它们可能对你来说是相同的,即使它们不相同,它们也应该尽可能地利用你的集群.


更长的答案

/usr/bin/yarn脚本设置执行环境,以便可以运行所有yarn命令.该/usr/bin/hadoop脚本并不关心纱线特定功能.但是,如果您将群集设置为使用yarn作为mapreduce(MRv2)的默认实现,则hadoop jar可能与yarn jarmapreduce作业的行为相同.

无论哪种方式,您可能都很好,但您可以随时检查资源管理器(或作业跟踪器)Web界面,以查看作业在群集中的分布情况(无论是否是单个节点群集)