AWS Glue 的 CI/CD 管道

Question

我是 AWS Glue 的新用户，它是一种新的 AWS 托管服务，可轻松编排批处理作业工作流。

• 我有 3 个不同的 AWS IAM 账户（Dev、Test、Prod）。每个帐户单独登录。
• Glue、Scala 作业在我的 Github 存储库中进行版本控制。
• 我想构建一个 CI/CD 管道，以便在我提交和推送我的 Github 存储库时自动化我的 Glue 作业的测试、构建和部署。

我浏览了许多描述 CI/CD 最佳实践的博客和文章。我发现了一个很好的文章（CI / CD特别在数据管道工作流程）在AWS博客在这里。它非常简单，并且包含使用 CodeCommit 和 AWS Cloudformation 构建 CodePipeline 的详细信息。但是 CI/CD 的所有阶段都在同一个 AWS IAM 账户中启动和结束。

我有两个问题：

1. 将 Dev、Test 和 Prod 帐户（不同的 IAM）分开来构建和管理数据管道/数据仓库是一个好习惯吗？
2. 如果是，我将如何使用 3 个不同的 IAM 帐户设计 CI/CD 管道？

关于为 AWS-Glue 设计 CI/CD 管道的最佳实践有什么建议吗？

Answer 1

请参阅此内容，其中详细解释了如何以安全的方式跨多个帐户设置 CI/CD 管道。

分离开发、测试和生产帐户（不同的 IAM）来构建和管理数据管道/数据仓库是一个好的实践吗？

是的，这是一个很好的做法。

如果是，我将如何使用 3 个不同的 IAM 帐户设计 CI/CD 管道？

请参考分享链接