EMR 集群在 AWS 控制台 UI 上不可见

Question

我使用以下代码创建了一个集群：

> StepFactory stepFactory = new StepFactory();

            StepConfig enableDebugging = new StepConfig().withName("Enable Debugging")
                    .withActionOnFailure("TERMINATE_JOB_FLOW").withHadoopJarStep(stepFactory.newEnableDebuggingStep());


            Application spark = new Application().withName("Spark");

            RunJobFlowRequest createClusterParameters = new RunJobFlowRequest().withName("CreateDatamart")
                                            .withReleaseLabel("emr-5.5.0")
                                            .withSteps(enableDebugging)
                                            .withApplications(spark)
                                            .withLogUri("s3://logs/")
                                            .withServiceRole("EMR_DefaultRole")
                                            .withJobFlowRole("EMR_EC2_DefaultRole")
                                            .withInstances(new JobFlowInstancesConfig()
                                                    .withEc2KeyName("keypair")
                                                    .withInstanceCount(3)
                                                    .withKeepJobFlowAliveWhenNoSteps(false)
                                                    .withMasterInstanceType("m3.xlarge")
                                                    .withSlaveInstanceType("m3.xlarge"));

            RunJobFlowResult createCluster = emr.runJobFlow(createClusterParameters);

集群被创建。附加到它的步骤也在运行。但集群在 AWS EMR UI 中不可见。我可以在 EMR 的“事件”选项卡下查看详细信息。由于它位于“事件”选项卡下，因此没有必要在其他区域创建它。（虽然我也检查过）在 EC2 控制台中，我可以看到为 EMR 创建的容器。

在另一种情况下，如果我直接从 UI 创建一个集群，它是可见的。

代码有错误吗？

Answer 1

如果您要向新集群添加 IAM 用户可见性，请调用RunJobFlow并设置VisibleToAllUsers为 true，否则IAM用户无法查看集群。

因此，您只需要在创建集群之前添加以下行：

createClusterParameters.setVisibleToAllUsers(true);

注意：如果您使用Python SDK创建 AWS Lambda，是否类似：

response1 = emr.run_job_flow(
    Name=CLUSTER_NAME, # more properties [...]
    VisibleToAllUsers=True
)