使用本地模式运行Spark Application,我使用了命令,例如:
spark-submit --master local[*] my_spark_application.py
在这种情况下,剂量意味着我的应用程序使用了我本地计算机的所有内存？其他参数,如驱动程序内存和执行程序内存是否仍然有效？
设置驱动程序内存是增加本地 spark应用程序内存的唯一方法.
"因为您在本地模式下运行Spark,所以设置spark.executor.memory不会产生任何影响,正如您所注意到的那样.原因是工作者"生活"在您启动spark-shell时启动的驱动程序JVM进程中用于此的默认内存为512M.您可以通过设置spark.driver.memory更高的值来增加它,例如5g"来自如何设置Apache Spark Executor内存