如何在EMR中设置自定义环境变量以用于spark应用程序

Question

我需要在EMR中设置一个自定义环境变量,以便在运行spark应用程序时可用.

我试过添加这个:

                   ...
                   --configurations '[                                    
                                      {
                                      "Classification": "spark-env",
                                      "Configurations": [
                                        {
                                        "Classification": "export",
                                        "Configurations": [],
                                        "Properties": { "SOME-ENV-VAR": "qa1" }
                                        }
                                      ],
                                      "Properties": {}
                                      }
                                      ]'
                   ...

并试图取代"spark-env hadoop-env 但似乎没有任何效果.

aws论坛有这个答案.但我无法弄清楚如何应用它.我正在运行EMR 5.3.1并使用cli中预先配置的步骤启动它:aws emr create-cluster...

Answer 1

将自定义配置（如JSON以下）添加到文件中，例如， custom_config.json

[   
  {
   "Classification": "spark-env",
   "Properties": {},
   "Configurations": [
       {
         "Classification": "export",
         "Properties": {
             "VARIABLE_NAME": VARIABLE_VALUE,
         }
       }
   ]
 }
]

并且，在创建emr集群时，将文件引用传递给该--configurations选项

aws emr create-cluster --configurations file://custom_config.json --other-options...

Answer 2

对我来说，将Spark-env替换为YARN-ENV解决了问题。