回填时,Airflow会忽略资源池标记

Question

命令:

python dag.py backfill -i -t task1 --pool backfill -s "2016-05-29 03:00:00" -e "2016-06-07 00:00:00"

所有任务都排队,所有任务都开始运行.最大容量基本上被忽略.

Answer 1

据我所知，池超额订阅应该是 1.7.1.3（最新稳定版本）中的一个已知问题。此外，Airflow 回填作业运行程序不考虑池约束 - 只有调度程序会考虑，并且调度程序不会调度/处理回填。我认为这些应该在下一个版本中改变 - 但不确定。