带有Airflow的AWS Batch执行程序

Question

我目前正在使用EC2实例在Amazon Web服务上使用airflow.最大的问题是实例的平均使用率约为2%......

我想使用可扩展的架构并仅在作业期间创建实例并将其终止.我在路线图上看到,AWS BATCH在2017年被认为是执行者,但没有新的内容.

您是否知道是否可以将AWS BATCH用作所有气流作业的执行程序？

此致,罗曼.

Answer 1

没有执行器，但从 1.10 版本开始提供了操作器。在 AWS Batch 上创建执行环境、作业队列和作业定义后，您可以使用 来AWSBatchOperator触发作业。

这是源代码。

Answer 2

目前有一个 SequentialExecutor、一个 LocalExecutor、一个 DaskExecutor、一个 CeleryExecutor 和一个 MesosExecutor。我听说他们正在开发 AIRFLOW-1899，目标是在 2.0 中引入 KubernetesExecutor。因此，看看 Dask 和 Celery，它们似乎并不支持按任务创建工作线程的模式。Mesos 可以，Kubernetes 也应该，但是您必须相应地扩展工作人员的集群，以在不需要时关闭节点。

我们做了一些工作来获得云形成设置，其中 celery 工作人员根据标记工作人员的平均 CPU 负载的云观察指标进行扩展和收缩。