use*_*445 9 memory monitoring memory-management apache-spark
我正在浏览一个关于火花存储器管理的演示文稿,并想知道如何获得执行程序内存使用情况的良好图形图像(类似于演示中提到的内容),以更好地理解内存错误.另外,分析spark执行器中的堆外内存使用情况的最佳方法是什么？如何找到作为时间函数的堆外内存使用量？
我查看了Ganglia,但它提供了节点级指标.我发现使用节点级别度量标准很难理解执行程序级别的内存使用情况.
我一直在考虑类似的工具！
我认为org.apache.spark.scheduler.SparkListener是 Apache Spark 中所有低级指标的接口，也是onExecutorMetricsUpdate开发高级监控工具时要查看的方法。
您还可以使用 JMX 接口监视 JVM，但它可能级别太低，并且绝对没有有关 Spark 如何使用资源的上下文信息。
| 归档时间： |
|
| 查看次数： |
749 次 |
| 最近记录： |