我需要在EMR中设置一个自定义环境变量,以便在运行spark应用程序时可用.
我试过添加这个:
...
--configurations '[
{
"Classification": "spark-env",
"Configurations": [
{
"Classification": "export",
"Configurations": [],
"Properties": { "SOME-ENV-VAR": "qa1" }
}
],
"Properties": {}
}
]'
...
Run Code Online (Sandbox Code Playgroud)
并试图取代"spark-env hadoop-env
但似乎没有任何效果.
aws论坛有这个答案.但我无法弄清楚如何应用它.我正在运行EMR 5.3.1并使用cli中预先配置的步骤启动它:aws emr create-cluster...
hadoop environment-variables amazon-web-services emr apache-spark