小编Gua*_*Jon的帖子

如何在 Airflow 中构建 docker 镜像

我想将一个应用程序部署到 Airflow,该应用程序接受配置文件作为参数,拉取所述配置指定的 git 存储库,然后将其转换为 Docker 映像,然后将该映像上传到 GCP 的 Artifact Registry。在 Airflow DAG 中构建 docker 镜像的最佳实践是什么?

我尝试通过 Airflow 编排手动触发的云构建运行 - 我无法使用 CloudBuildCreateBuildOperator 将必要的替换传递到 cloudbuild.yaml 文件中,也无法指定工作区。

我还创建了一个 docker 映像,它本身可以创建新的 docker 映像(当 docker.sock 文件作为卷安装时)。然而,使用 KubernetesPodOperator 来调用它似乎违背了 Airflow 的设计理念,因为此任务将通过直接在主机上构建新的 docker 镜像来影响主机。

docker docker-build airflow docker-in-docker google-cloud-build

0
推荐指数
1
解决办法
810
查看次数