气流任务卡在排队状态

Question

我们正在使用 KubernetesExecutor 和 KubernetesPodOperator 运行 Airflow 1.10.12。这几天，我们看到任务卡在队列状态很长时间（说实话，除非我们重新启动调度程序，否则它会一直卡在那个状态），同一个 DAG 的新任务被正确调度.

唯一有帮助的是手动清除它，或重新启动调度程序服务

我们通常会在运行 E2E 测试时看到它发生，这会为我们的 3 个 DAG 中的每个 DAG 生成大约 20 个 DAG，由于并行性有限，有些将排队（这对我们来说很好）

这些是我们的并行参数 airflow.cfg

parallelism = 32
dag_concurrency = 16
max_active_runs_per_dag = 16

我们的 2 个 DAG，覆盖the max_active_runs并将其设置为 10

知道是什么原因造成的吗？