小编Swa*_*hid的帖子

如何使用 AWS java SDK 使用 AWS 胶水作业自动生成脚本

我正在使用 Java Sdk 创建胶水作业。它只有两个必需的参数 Command 和 Glue 版本。但我需要通过自动脚本生成来创建工作。正如我们可以从控制台执行的那样,我们添加数据源、AWS Glue 生成的建议脚本、转换类型、数据目标、架构等。如何使用 java sdk 或什至使用 awsglue api 将这些参数添加到胶水作业中。

           CreateJobRequest req = new CreateJobRequest();
            req.setName("TestJob2");
            req.setRole("GlueS3Role");
            req.setGlueVersion("1.0");
            JobCommand command = new JobCommand();
            command.setName("glueetl");
            command.setPythonVersion("3");
            **// S3 location need not to be given, as script code is auto generated by AWS glue
           command.setScriptLocation(S3ScriptLocation);**
            req.setCommand(command);

            AWSGlue glueClient = AWSGlueClientBuilder.standard()
                                 .withRegion(Regions.US_EAST_1)
                                 .withCredentials(new AWSStaticCredentialsProvider(creds))
                                 .build();

            glueClient.createJob(req);
        }
Run Code Online (Sandbox Code Playgroud)

aws-java-sdk aws-glue aws-java-sdk-2.x

5
推荐指数
1
解决办法
986
查看次数

标签 统计

aws-glue ×1

aws-java-sdk ×1

aws-java-sdk-2.x ×1