气流使用与父 dag 不同的 schedule_interval 创建 subdag

Question

我一直在尝试设置一个具有两个 subdag 的父 dag，由于它们各自的数据源可用，每个 subdag 的运行时间略有不同。然而，subdags 似乎立即与父 dag 一起启动，无视他们自己的 schedule_intervals。有人知道这是否是气流的默认行为吗？有没有办法在不将它们变成独立的 dag 或使用传感器的情况下解决这个问题？

Answer 1

subdag 将遵守父 dag 计划（因为它是触发 subdag 的父）并且不会按自己的计划运行，除非它被配置为作为独立 dag 这样做。

可能您真正想要的是某种其他类型的依赖机制。我试图猜测你在这里的场景是什么：

1. 你有 DagA 和 DagB，它们分别在一天中的不同时间运行
2. DagB 依赖于 DagA（或者一些 DagC 依赖于 DagA 和 DagB）
3. 您创建了一个 DagX，将 DagA 和 DagB 作为子dag 来控制依赖项

我不确定您为什么不希望 DagA 和 DagB 成为独立的 Dag，但是如果您真的想保留您的结构，您可以将父 DAG 计划设置为来自 DagA 和 DagB 的计划的最大公约数并添加条件流以避免在它们未到期时执行它们。

另一方面，我建议您尝试直接使用代码映射依赖项，而不是通过调度使它们隐含。如果 DagA 依赖于外部事物，无论是数据源还是另一个 DAG，您都可以使用Sensor。