我们从Airflow 1.10.0中的Celery Executor搬走了,因为执行有一些限制,现在我们正在使用KubernetesExecutor.
现在,即使我们subdag_operator直接更改代码,我们也无法并行化某些DAG中的所有任务:https://github.com/apache/incubator-airflow/blob/v1-10-stable/airflow/operators /subdag_operator.py#L38
我们的期望是通过这些修改和使用Kubernetes Executors,我们可以同时扇出所有任务的执行,但我们有相同的行为SequentialExecutor.
这是我们现在的行为:
我们希望使用同时执行所有这些KubernetesExecutor.
我们使用的是Airflow:1.10.0,经过一些分析,为什么我们的一些ETL流程花了这么长时间,我们看到子域使用a SequentialExecutor代替使用,BaseExecutor或者在配置时CeleryExecutor。
我想知道这是Bug还是Airflow的预期行为。具有并行执行任务的功能没有任何意义,但是在某些特定类型的任务中,此功能会丢失。