如何获得hadoop纱线应用的内存和CPU使用率？
Ken*_*uki 5 memory hadoop mapreduce cpu-usage hadoop-yarn
我想问一下,在运行我的hadoop mapreduce应用程序后,如何获得该应用程序的总内存和CPU使用率.我在日志和资源管理器网页上看过它,但我没有得到它.
可能吗？我可以在每个作业执行或每个应用程序中获取它,并且我是否可以按节点使用情况或总使用量获取它？
非常感谢....
是的,您可以很好地检查应用程序的总内存和CPU使用情况.
您可以使用作业跟踪器UI,单击已完成页面上的计数器链接,并可能获得如下的典型视图.内存和CPU计数器突出显示.
单击突出显示的链接将显示作业的每个任务(映射/减少)的消耗.
要从命令行查看这些消耗计数器的这些值,您可以使用
hadoop job -counter <job-id> org.apache.hadoop.mapreduce.TaskCounter CPU_MILLISECONDS 用于cpu使用
hadoop job -counter <job-id> org.apache.hadoop.mapreduce.TaskCounter PHYSICAL_MEMORY_BYTES 用于内存使用