Apache Airflow 池:已用插槽 > 可用插槽

vin*_*sce 5 airflow

我有 6 个 subdag。他们每个人都包含一个pool='crawler'需要大量资源的任务,所以我创建了一个crawler只有 1 个插槽的池。

当我运行 DAG 时,似乎绕过了池限制,同时执行了所有六个任务(如您从屏幕截图中看到的)。

如何强制使用的插槽成为<=可用插槽?

气流池

kax*_*xil 6

源代码

SubDagOperator 不支持气流池。因此资源可以被 SubdagOperators 消耗

  • kaxil 这个评论也应该在文档 https://airflow.apache.org/concepts.html#pools 的 Pool 部分,这非常重要,用户不太可能在源代码中阅读它 (3认同)