我正在尝试修复内存不足的问题,我想知道是否需要spark-defaults.conf在spark home文件夹中的默认配置文件()中更改这些设置.或者,如果我可以在代码中设置它们.
spark-defaults.conf
我看到了这个问题PySpark:java.lang.OutofMemoryError:Java堆空间,它说它取决于我是否在client模式下运行.我在集群上运行spark并使用独立监控它.
client
但是,我怎么弄清楚我是否在client模式下运行spark ?
cluster-computing apache-spark pyspark
apache-spark ×1
cluster-computing ×1
pyspark ×1