我希望任务在启动 12 小时后失败,我已设置execution_timeout为 12 小时:
Operator 是 SQLSensor,因为它有时会丢失连接并失败,所以我将其设置retries为 3。
但是,由于重试,任务会在每次超时后重新开始。
1:任务于10:00开始
2:22:00超时
3:然后任务在22:01再次开始
我不想要这个,如何设置所有重试的总超时?
log_sensor = SqlSensor(
task_id='log_sensor',
conn_id='mssql_etl',
sql=my_query,
retries=3,
execution_timeout=timedelta(hours=12),
dag=dag)
Run Code Online (Sandbox Code Playgroud) airflow ×1