如何解析Yarn日志获取性能指标？

Question

总结：我需要一些东西yarn logs -applicationId myID | parse。

我正在开发具有某种程度的并行性的代码，所以我需要关于使用的vcores和 RAM 内存的反馈......我有每个测试的应用程序 ID，所以，运行后我可以使用

 yarn logs -applicationId application_1581298836342_95477 > myYarnLog.txt

但它是一个大而复杂的日志，我只需要检查使用的vcores和内存。

有一个解析myYarnLog.txt，那个过滤或计算性能指标？

---

PS：“RAM 内存”可以是“聚合资源分配”，vcores可以是一些虚拟 CPU 分配统计信息等。

Answer 1

在你的yarn site.xml中类似于，就像这里

 yarn.resourcemanager.scheduler.monitor.enable

您需要在文件capacity-scheduler.xml中使用silimar作为此处的响应

<property>
    <name>yarn.scheduler.capacity.resource-calculator</name>
    <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>