CI/CD AWS Glue 管道

Question

我是 AWS Glue 的新用户，它是一种新的 AWS 托管服务，可以轻松编排批处理作业工作流程。

• 我有 3 个不同的 AWS IAM 账户（开发、测试、生产）。分离 登录每个帐户。
• Glue，Scala Jobs 在我的版本中受版本控制 Github 存储库。
• 我想构建一个 CI/CD 管道来自动化 在我提交并推送我的 Github 存储库时测试、构建和部署我的 Glue 作业。

我浏览了许多描述 CI/CD 最佳实践的博客和文章。我在 AWS 博客 here 上找到了一篇很好的文章（特别是关于数据管道工作流中的 CI/CD）。它非常简单，并且包含使用 CodeCommit 和 AWS Cloudformation 构建 CodePipeline 的详细信息。但是 CI/CD 的所有阶段都在同一个 AWS IAM 账户中开始和结束。

我有两个问题：

1. 正在分离 Dev、Test 和 Prod 帐户（不同的 IAM）以进行构建和管理 数据管道/数据仓库，一个好的实践？
2. 如果是，我将如何使用 3 个不同的 IAM 帐户设计 CI/CD 管道？

关于为 AWS-Glue 设计 CI/CD 管道的最佳实践有何建议？

Answer 1

请参阅 this，其中详细说明了如何以安全的方式跨多个帐户设置 CI/CD 管道。

分离开发、测试和生产帐户（不同的 IAM）以构建和管理数据管道/数据仓库是一种好的做法吗？

Yes it is a good practice.

如果是，我将如何使用 3 个不同的 IAM 帐户设计 CI/CD 管道？

Please refer to the shared link

Answer 2

分离 Dev、Test 和 Prod 帐户（不同的 IAM）以构建和管理数据管道/数据仓库是一种好的做法吗？

是的，在不同的 AWS 账户中分离环境是一种很好的做法，也是推荐的安全做法。

如果是，我将如何使用 3 个不同的 IAM 帐户设计 CI/CD 管道？

Here 是一个博客，它定义了如何在不同的 AWS 账户中配置资源并与它们安全通信。