spark.python.worker.memory如何与spark.executor.memory相关？

Question

此图非常清楚不同的YARN和Spark内存相关设置之间的关系,除非它涉及到spark.python.worker.memory.

如何spark.python.worker.memory适应这种记忆模型？

是Python的过程管辖spark.executor.memory或yarn.nodemanager.resource.memory-mb？

更新

此问题解释了设置的作用,但没有回答有关内存管理的问题,或者它与其他内存设置的关系.

Answer 1

从Apache-spark邮件列表中找到此线程,看起来spark.python.worker.memory是spark.executor.memory的内存子集.

从线程:"spark.python.worker.memory用于执行者中的Python工作者"