相关疑难解决方法(0)

如何在EMR中设置自定义环境变量以用于spark应用程序

我需要在EMR中设置一个自定义环境变量,以便在运行spark应用程序时可用.

我试过添加这个:

                   ...
                   --configurations '[                                    
                                      {
                                      "Classification": "spark-env",
                                      "Configurations": [
                                        {
                                        "Classification": "export",
                                        "Configurations": [],
                                        "Properties": { "SOME-ENV-VAR": "qa1" }
                                        }
                                      ],
                                      "Properties": {}
                                      }
                                      ]'
                   ...
Run Code Online (Sandbox Code Playgroud)

并试图取代"spark-env hadoop-env 但似乎没有任何效果.

aws论坛有这个答案.但我无法弄清楚如何应用它.我正在运行EMR 5.3.1并使用cli中预先配置的步骤启动它:aws emr create-cluster...

hadoop environment-variables amazon-web-services emr apache-spark

11
推荐指数
2
解决办法
6422
查看次数