Airflow 代码库的部署

Question

我们正在简化气流代码库的构建/部署管道。

有没有人有使用 CI/CD 工具为 Apache 气流构建和部署管道的经验？

您如何在不同的环境（如测试、暂存、生产等）中部署您的气流代码库，包括 DAG/插件/操作符？

你如何管理每个环境的airflow.cfg 配置？

您在哪里管理每个环境的配置。

Answer 1

我们将所有代码构建到 Docker 映像（DAG、插件、不同的 Python 包、不同的airflow.cfg文件等）中，并将其推送到我们的 Kubernetes 集群。相同的映像在各处运行，确保依赖关系保持锁定状态，并且每个 Airflow 都针对其用例进行了最佳配置（我们在 Kubernetes 集群上运行多个 Airflow 实例）。

就 CI/CD 而言，由于我们的部署几乎只是 docker 推送，因此我们使用 CircleCI 没有任何问题。

为了管理环境，我们将尝试在 Airflow 中保持名称相同的连接（例如redshift_conn），但具有不同的凭据（dev Redshift 与 prod Redshift）。我认为应该有更优雅的解决方案，但到目前为止这对我们来说是有效的。