当我在纱线上运行 spark 应用程序时，驱动程序和执行程序内存设置为 --driver-memory 4G --executor-memory 2G
然后当我运行应用程序时，会抛出一个异常，抱怨说 Container killed by YARN for exceeding memory limits. 2.5 GB of 2.5 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.
这个 2.5 GB 在这里是什么意思？（开销内存、执行程序内存或开销+执行程序内存？）我这么问是因为当我将内存设置更改为：
--driver-memory 4G --executor-memory 4G --conf --driver-memory 4G --conf spark.yarn.executor.memoryOverhead=2048，然后异常消失。
我想问一下，虽然我把开销内存提升到了2G，但它仍然在2.5G以下，为什么现在可以工作了？
apache-spark ×1