在 Monorepo 中使用许多包构建条件云

Question

动机

我想在Google Cloud Build和Google Kubernetes Engine的帮助下完全自动化许多服务的部署。这些服务位于monorepo 中，它有一个名为.services

所以我cloudbuild.yaml为每个服务创建了一个并创建了一个构建触发器。这样cloudbuild.yaml做：

1. 运行测试
2. 构建新版本的 Docker 镜像
3. 推送新的 Docker 镜像
4. 将更改应用到 Kubernetes 集群

问题

随着服务数量的增加，构建触发器的数量也会增加。也有越来越多的服务被构建，即使它们没有改变。

因此我想要一种机制，它只有一个构建触发器并自动确定需要重建哪些服务。

例子

假设我有一个具有此文件结构的 monorepo：

??? packages
?   ??? enums
?   ??? components
??? services
    ??? backend
    ??? frontend
    ??? admin-dashboard

然后我对frontend服务进行了一些更改。由于frontend和admin-dashboard服务依赖于components包，因此需要重建多个服务：

• 前端
• 管理仪表板

但不是后端！

我试过的

(1) 多个构建触发器

为每个服务设置多个构建触发器。但是这些构建中有 80% 是多余的，因为代码中的大多数更改仅与个人服务相关。管理许多看起来几乎相同的构建触发器也越来越复杂。单个cloudbuild.yaml文件如下所示：

steps:
  - name: "gcr.io/cloud-builders/docker"
    args:
      [
        "build",
        "-f",
        "./services/frontend/prod.Dockerfile",
        "-t",
        "gcr.io/$PROJECT_ID/frontend:$REVISION_ID",
        "-t",
        "gcr.io/$PROJECT_ID/frontend:latest",
        ".",
      ]
  - name: "gcr.io/cloud-builders/docker"
    args: ["push", "gcr.io/$PROJECT_ID/frontend"]

  - name: "gcr.io/cloud-builders/kubectl"
    args: ["apply", "-f", "kubernetes/gcp/frontend.yaml"]
    env:
      - "CLOUDSDK_COMPUTE_ZONE=europe-west3-a"
      - "CLOUDSDK_CONTAINER_CLUSTER=cents-ideas"

(2) 循环遍历cloudbuild文件

这个问题是关于一个非常相似的问题。因此，我尝试cloudbuild.yaml在项目的根目录中设置一个“入口点”文件并循环访问所有服务：

steps:
- name: 'gcr.io/cloud-builders/gcloud'
  entrypoint: 'bash'
  args:
  - '-c'
  - |
    for d in ./services/*/; do
      config="${d}cloudbuild.yaml"
      if [[ ! -f "${config}" ]]; then
        continue
      fi

      echo "Building $d ... "
      (
        gcloud builds submit $d --config=${config}
      ) &
    done
    wait

这将消除具有多个构建触发器的需要。但我也遇到了这种方法的问题：

每个服务都被发送到它自己的构建过程中，并使用此特定服务的文件范围。这意味着，我只能/services/specific-service在构建期间访问内部文件。这对我来说太糟糕了（我需要访问父目录中的packages文件，如根目录中的配置文件）。

(3) 只构建改变的服务

由于我想要一种仅构建更改服务的机制，因此我尝试确定需要重建的服务。在lerna的帮助下，这似乎很容易做到。跑步

lerna changed --all --parseable

将返回一个列表文件路径到更改的包，如下所示：

/home/username/Desktop/project/packages/components
/home/username/Desktop/project/services/frontend
/home/username/Desktop/project/services/admin-dashboard

但是，该列表还包括但packages我不知道如何在脚本中使用此列表来循环访问受影响的服务。另外：当我触发构建（例如通过标记提交）时，lerna 将无法在构建过程中识别更改的包，因为更改已经提交。

---

我知道这是很长的一段。但我认为这是一个重要的话题，所以我真的很感激任何帮助！

PS：这就是我的实际项目的样子，如果你想仔细看看具体的用例。

Answer 1

要从单一存储库构建，您确实需要增量构建（更改的内容以及依赖于更改的部分的部分）。为了实现这一点，您的构建工具需要以某种方式处理依赖关系图。

您描述的 Lerna 是为 monorepos 设计的。但Bazel也是如此，它可以作为 Google Cloud Builder、cloud-builders/bazel中的一个选项提供，并提供与 docker 构建器结合使用的文档。

然而，为 monorepos 设计的构建工具通常设置起来更复杂。