使用 apache 气流中的 UI 更改任务的依赖关系

Sto*_*old 5 airflow

有没有办法从 UI 本身设置任务依赖项,而不是在 DAG 文件中定义它。我知道,我们可以设置的依赖一样task1 >> task2 >> task3。但是,我可以使用本地主机做同样的事情吗?webserver UI.

y2k*_*ham 2

[问] Airflow 原生支持基于 UI 的 DAG 编辑吗?

[答]没有


[问]能达到同样的“效果”吗?

[答]是的

如果您编写一个DAG 构建器代码来解析存储在 Airflow 中的 JSON / YAML Variable(其中包含要创建的内容以及如何将它们链接在一起的信息DAGoperator来生成DAGs,然后通过编辑这些Variables (从 UI 本身),您将能够修改 DAG 的结构

一些很好的参考是


[问]应该这样做吗(推荐做法)?

[A]只要您以这种方式生成的 DAG 是不可变的(它们的结构不会时不时地发生变化),就可以了。虽然动态修改结构可能很诱人(听起来很酷/强大),但在我看来应该避免它,因为这会损害系统的健全性(系统将变得难以推理,调试能力将受到损害)


进一步阅读