我已将spark.executor.memory设置为2048m,并在UI"环境"页面中,我可以看到此值已正确设置.但是在"Executors"页面中,我看到只有1个执行程序,其内存为265.4MB.非常奇怪的价值.为什么不是256MB,或者就像我设置的一样？
我在这里错过了什么？
UI上的"执行者"选项卡还包括列表中的驱动程序.其"执行者ID"列为<driver>.此过程不是由Spark启动的,因此不受此影响spark.executor.memory.
spark-submit,它的最大内存可以由spark.driver.memory或控制--driver-memory-XmxJava标志.| 归档时间： |
|
| 查看次数： |
8032 次 |
| 最近记录： |