man*_*dar 4 apache-spark apache-spark-sql
在Apache spark UI阶段级别的指标之一是"峰值执行内存"？这个指标表明了什么.
小智 5
Peak Execution memory指在随机,聚合和连接期间创建的内部数据结构使用的内存.此累加器的值应大约是此任务中创建的所有此类数据结构的峰值大小的总和.对于SQL作业,这仅跟踪所有不安全的运算符,广播联接和外部排序.
您可以使用Tracking spark的内存使用情况获得有关相同内容的更多见解
| 归档时间： |
|
| 查看次数： |
2941 次 |
| 最近记录： |