相关疑难解决方法(0)

如何知道PySpark应用程序的部署模式?

我正在尝试修复内存不足的问题,我想知道是否需要spark-defaults.conf在spark home文件夹中的默认配置文件()中更改这些设置.或者,如果我可以在代码中设置它们.

我看到了这个问题PySpark:java.lang.OutofMemoryError:Java堆空间,它说它取决于我是否在client模式下运行.我在集群上运行spark并使用独立监控它.

但是,我怎么弄清楚我是否在client模式下运行spark ?

cluster-computing apache-spark pyspark

7
推荐指数
2
解决办法
7750
查看次数

标签 统计

apache-spark ×1

cluster-computing ×1

pyspark ×1