我正在探索 AirFlow 作为工作流执行引擎。
我喜欢它非常灵活,允许使用多个运算符,例如 Python 函数。然而,我担心我可能会错过一些基本的东西——任务重用。我想在多个 DAG 中运行现有运算符,而无需重新定义它们。
据我所知 - 这是不支持的。我错了吗?如果是这样,如果有人能给我指出解决方案,我会很高兴。
我想到的唯一(尴尬的)解决方案是为每个 Operator 提供一个虚拟 DAG,然后使用DagRunOperator在这些虚拟 DAG 之上构建我的 DAG 。
非常感谢!
airflow ×1