小编Ass*_*rtz的帖子

跨 DAG 重用任务(运算符)

我正在探索 AirFlow 作为工作流执行引擎。

我喜欢它非常灵活,允许使用多个运算符,例如 Python 函数。然而,我担心我可能会错过一些基本的东西——任务重用。我想在多个 DAG 中运行现有运算符,而无需重新定义它们。

据我所知 - 这是不支持的。我错了吗?如果是这样,如果有人能给我指出解决方案,我会很高兴。

我想到的唯一(尴尬的)解决方案是为每个 Operator 提供一个虚拟 DAG,然后使用DagRunOperator在这些虚拟 DAG 之上构建我的 DAG 。

非常感谢!

airflow

5
推荐指数
1
解决办法
2241
查看次数

标签 统计

airflow ×1