YARN shell 命令获取运行应用程序使用的容器和 vcore 的数量

Question

hadoop job -list 似乎只显示 mapreduce 作业，但我的资源管理器 UI 显示了诸如“分配的 CPU VCores”和“分配的内存 MB”之类的内容，用于在 YARN 上运行的所有作业（包括 Spark 和 Tez 等）。

如何通过命令行而不是进入 UI 获取这些结果？

Answer 1

YARN 支持不同类型的应用程序。“MapReduce”是YARN支持的应用程序类型之一。如果您使用hadoop job（已弃用，您应该使用mapred job）或mapred job，则只能操作 MapReduce 作业。

要查看不同类型应用程序（mapreduce、spark 等）的状态，您应该使用 YARN CLI。

例如“yarn application -list -appStates ALL”，列出所有应用程序的状态。该命令的输出包含“Application-Type”列，该列指示应用程序的类型（例如用于 MapReduce 应用程序的 MAPREDUCE）。

您可以获得有关应用程序、应用程序尝试、容器等的详细信息。2.7.1 版本 Hadoop 的命令如下：https ://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn- site/YarnCommands.html。

但是，这些命令不会通过 CLI 返回“分配的 CPU VCores”和“分配的内存 MB”等详细信息。

yarn application -status {Application ID}命令以“MB-秒”和“vcore-秒”形式返回“聚合资源分配”

例如，-status我退回的一份申请：

聚合资源分配：12865641 MB 秒，1041 vcore 秒