将Kubernetes与Apache Airflow集成

Question

我们正在构建工作流程调度应用 我们发现Airflow是工作流管理器和Kubernetes的一个很好的选择,是集群管理器的好选择.因此,流量将是,

1. 我们将向Airflow提交工作流程DAG.
2. Airflow应通过指定docker image将给定DAG的任务提交给Kubernetes.
3. Kubernetes应该通过在群集的可用EC2工作节点上运行docker容器来执行任务.

在搜索时,我们发现,Airflow有操作员可以与ECS,Mesos集成,但不适用于Kubernetes.但是,我们在Airflow wiki上发现了对Kubernetes Operator的请求,但没有对它进行任何进一步的更新.

那么,简单的问题是,如何将Airflow与Kubernetes整合？

Answer 1

现在正在飞行中.你可以跟随这张主要的jira票

其中一个更稳定的分支机构(工作由很多团队领导)位于airflow-kubernetes-executor分支机构github上的bloomberg分支中,尽管它正处于不断变化的气流大师的重新定位过程中.

我的叉子上有一个分支,可以解决许多短期问题并运行得很好,称为frankensteins-monster.使用它需要您自担风险,虽然它现在适用于我.我正在使用build.sh位于的脚本构建一个docker镜像scripts/ci/kubernetes/docker.

祝好运!