Spark.Executor.MemoryOverhead 和 Spark.Memory.offHeap.Size 之间的区别

Question

当我在Spark 配置中搜索堆外时，有两个属性相关（spark.executor.memoryOverhead和spark.memory.offHeap.size），我不确定这两者之间的关系。

如果我启用spark.memory.offHeap.enabled，将会spark.memory.offHeap.size是一部分spark.executor.memoryOverhead？或者这两种堆外内存是独立的（因此总的堆外内存是两者的总和）

Answer 1

在这里查看我的完整答案：https ://stackoverflow.com/a/61723456/6470969

简短回答：从当前的 Spark 版本（2.4.5）开始，如果您指定spark.memory.offHeap.size，您还应该将此部分添加到spark.executor.memoryOverhead。例如你设置spark.memory.offHeap.size为500M spark.executor.memory=2G，那么默认spark.executor.memoryOverhead就是max(2*0.1, 384)=384M，但是你最好memoryOverhead增加到384M+500M=884M。