因此,询问是否有人知道在运行时更改Spark属性(例如spark.executor.memory,spark.shuffle.spill.compress等)的方法,以便更改可能在作业期间的任务/阶段之间生效. .
所以我知道......
1)Spark 2.0+(以及之前的版本)的文档声明,一旦创建了Spark上下文,就无法在运行时更改它.
2)SparkSession.conf.set可能会改变SQL的一些内容,但我正在研究更一般的,包罗万象的配置.
3)我可以使用新属性在程序中启动新的上下文,但这里的情况是在作业已经执行后实际调整属性.
想法...
1)杀死Executor会强制它再次读取配置文件,还是仅仅获取在作业开始时已配置的内容？
2)是否有任何命令强制在spark上下文中"刷新"属性？
所以希望可能有一种方式或其他想法(提前感谢)......