相关疑难解决方法(0)

我是 PySpark 的新手，我正在尝试在我的本地计算机上使用pySpark（版本 2.3.1）和Jupyter-Notebook。

我想设置spark.driver.memory通过这样做是为了9GB：

spark = SparkSession.builder \
       .master("local[2]") \
       .appName("test") \
       .config("spark.driver.memory", "9g")\
       .getOrCreate()
sc = spark.sparkContext
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

spark.sparkContext._conf.getAll()  # check the config

它返回

[('spark.driver.memory', '9g'),
('spark.driver.cores', '4'),
('spark.rdd.compress', 'True'),
('spark.driver.port', '15611'),
('spark.serializer.objectStreamReset', '100'),
('spark.app.name', 'test'),
('spark.executor.id', 'driver'),
('spark.submit.deployMode', 'client'),
('spark.ui.showConsoleProgress', 'true'),
('spark.master', 'local[2]'),
('spark.app.id', 'local-xyz'),
('spark.driver.host', '0.0.0.0')]

这很奇怪，因为当我查看文档时，它表明

注意：在客户端模式下，此配置不能直接在您的应用程序中通过 SparkConf设置，因为驱动程序 JVM 已经在此时启动。相反，请通过 --driver-memory 命令行选项或在您的默认属性文件中进行设置。文档在这里

但是，正如您在上面的结果中看到的，它返回

[('spark.driver.memory', '9g')

即使我访问 …