气流中可以同时运行相同的 DAG 吗？

Question

我们有一个气流 DAG，它接受用户的输入并执行某些任务。我们希望使用来自用户的不同输入同时运行相同的 DAG。我们找到了多个同时任务运行的链接，但无法获取有关同时运行的信息。因此，如果我们使用来自 cli 的两个 diff 输入触发 DAG，那么它在两个实例上运行良好，但只想了解两个实例是独立运行还是等待一个实例完成然后触发另一个实例？

Answer 1

你提到的这些都可以做到。任务可以并行执行。

这只是max_active_runs wait_for_downstream和dependent_on_past的正确配置

有向无环图参数：

max_active_runs- 活动 DAG 运行的最大数量

如果您只是希望 DAG 能够并行执行两个作业（两次不同运行之间没有条件），则设置max_active_runs=2

运营商参数：

wait_for_downstream- 当设置为 true 时，任务 X 的实例将等待任务 X 的前一个实例的下游任务成功完成或在运行之前被跳过

depends_on_past- 当设置为 true 时，任务实例将按顺序运行，并且仅当前一个实例已成功或已被跳过时。