相关疑难解决方法(0)

Airflow调度程序是否有可能在开始下一个循环之前首先完成前一天的循环?

现在,我的DAG中的节点在该DAG的其余节点完成之前进入第二天的任务.有没有办法等待DAG的其余部分完成,然后才能进入第二天的DAG循环?

(我确实将depends_on_previous视为真,但在这种情况下不起作用)

我的DAG看起来像这样:

               O
               l
               V
O -> O -> O -> O -> O
Run Code Online (Sandbox Code Playgroud)

另外,dag的树视图]

树视图pic的dag

python apache scheduler python-3.x airflow

11
推荐指数
3
解决办法
5502
查看次数

如何限制气流一次只运行1个DAG?

我希望DAG中的所有任务在下一次运行的第一个任务执行之前全部完成。

我有max_active_runs = 1,但是仍然发生。

default_args = {
'depends_on_past': True,
'wait_for_downstream': True,
'max_active_runs': 1,
'start_date': datetime(2018, 03, 04),
'owner': 'tin.nguyen',
'email': ['tin.nguyen@example.com'],
'email_on_failure': True,
'email_on_retry': False,
'retries': 3,
'retry_delay': timedelta(minutes=4)
}

dag = DAG('example', default_args=default_args, schedule_interval = schedule_interval)
Run Code Online (Sandbox Code Playgroud)

(我的所有任务都取决于上一个任务。气流版本为1.8.0)

谢谢

python concurrency airflow

4
推荐指数
2
解决办法
7164
查看次数

标签 统计

airflow ×2

python ×2

apache ×1

concurrency ×1

python-3.x ×1

scheduler ×1