小编R.M*_*.M.的帖子

AIrflow - 跨多个文件拆分DAG定义

刚刚开始使用Airflow,并想知道构建大型DAG的最佳实践是什么.对于我们的ETL,我们有许多属于逻辑分组的任务,但这些组依赖于彼此.以下哪项被认为是最佳做法?

  • 一个大型DAG文件,其中包含该文件中的所有任务
  • 将DAG定义拆分为多个文件(如何执行此操作?)
  • 定义多个DAG,每个任务组一个,并使用ExternalTask​​Sensor设置它们之间的依赖关系

也欢迎其他建议.

airflow

12
推荐指数
2
解决办法
2120
查看次数

标签 统计

airflow ×1