有没有办法从 UI 本身设置任务依赖项,而不是在 DAG 文件中定义它。我知道,我们可以设置的依赖一样task1 >> task2 >> task3。但是,我可以使用本地主机做同样的事情吗?webserver UI.
[问] Airflow 原生支持基于 UI 的 DAG 编辑吗?
[答]没有
[问]能达到同样的“效果”吗?
[答]是的
如果您编写一个DAG 构建器代码来解析存储在 Airflow 中的 JSON / YAML Variable(其中包含要创建的内容以及如何将它们链接在一起的信息DAG)operator来生成DAGs,然后通过编辑这些Variables (从 UI 本身),您将能够修改 DAG 的结构
一些很好的参考是
[问]应该这样做吗(推荐做法)?
[A]只要您以这种方式生成的 DAG 是不可变的(它们的结构不会时不时地发生变化),就可以了。虽然动态修改结构可能很诱人(听起来很酷/强大),但在我看来应该避免它,因为这会损害系统的健全性(系统将变得难以推理,调试能力将受到损害)
进一步阅读
| 归档时间: |
|
| 查看次数: |
128 次 |
| 最近记录: |