Spark 在 Databricks 中设置驱动程序内存配置

Question

我正在研究 Azure databricks。我的驱动程序节点和工作程序节点规格为：14.0 GB 内存、4 核、0.75 DBU Standard_DS3_v2。

我的 pyspark 笔记本因 Java 堆空间错误而失败。我上网查了一下，有一个建议是增加驱动内存。我正在尝试在笔记本中使用以下conf参数

spark.conf.get("spark.driver.memory")

获取驱动程序内存。但我的笔记本电脑因错误而失败。

java.util.NoSuchElementException: spark.driver.memory

知道如何检查驱动程序内存并更改其值吗？

Answer 1

您可以在 Databricks 上设置集群时设置 Spark 配置。当您创建集群并展开“高级选项”菜单时，您可以看到有一个“Spark Config”部分。在此字段中您可以设置所需的配置。

有关更多信息，您可以随时查看Azure Databricks 的文档页面。