如何在EMR上为Spark / Zeppelin设置spark.driver.memory

Question

当使用EMR（与Spark，Zeppelin）配合使用时spark.driver.memory，Zeppelin Spark解释器设置的更改将无法进行。

我想知道使用EMR Web界面（不是AWS CLI）创建集群时设置Spark驱动程序内存的最佳和最快方法是什么？

Bootstrap动作可以解决吗？如果是，请提供一个示例，说明引导操作文件的外观如何？

Answer 1

您可以随时尝试在作业流程/集群创建中添加以下配置：

[
    {
        "Classification": "spark-defaults",
        "Properties": {
            "spark.driver.memory": "12G"
        }
    }
]

您可以对spark-default，hadoop core-site等进行大多数配置。

我希望这有帮助 ！