EMR配置json

Question

根据http://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html# ,新的EMR版本4.0.0允许配置json文件来配置组件.另外看http://docs.aws.amazon.com//ElasticMapReduce/latest/ReleaseGuide/emr-configure-apps.html,我有json结构:

[
 {
   "Classification": "mapred-site",
   "Properties": {
      "mapreduce.map.memory.mb": "4096",
      "mapreduce.map.java.opts": "-Xmx4096M"
   }
 },
 {
   "Classification": "hadoop-env",
   "Properties": {},
   "Configurations": [
       {
         "Classification": "export",
         "Properties": {
             "HADOOP_CLIENT_OPTS": "-Xmx4096M"
         }
       }
   ]
 }
]

Hadoop env属性有效,但创建EMR集群时不会反映mapred-site属性.我总是可以从Hive设置这些属性,但任何想法如何使它与配置文件一起使用？

Answer 1

我遇到了类似的问题，但属于“hadoop-env”分类。

从这篇文章： https: //github.com/aws/aws-cli/issues/1502 我发现将关键字（分类、属性等）设置为小写可以解决问题。

注意：我使用的是 AWS 控制台，而不是 CLI。