相关疑难解决方法(0)

Airflow DAG 的任务超时

我在气流 DAG 中运行 5 个 PythonOperator 任务,其中之一正在执行 ETL 作业,该作业需要很长时间,因此我的所有资源都被阻塞。有没有办法可以设置每个任务的最大执行时间,之后任务要么失败,要么通过消息标记为成功(以便 DAG 不会失败)?

airflow airflow-scheduler

8
推荐指数
1
解决办法
3万
查看次数

气流:为什么运营商有start_date?

我不明白为什么我们需要为运营商(任务实例)提供'start_date'.我们传递给DAG的那个不应该足够吗?

此外,如果当前时间是2018年2月7日上午8点30分UTC,现在我将dag的start_date设置为2018年2月7日上午0.00点,我的cron表达式为计划间隔为30 9***(每天上午9点30分,即期待在接下来的1小时内运行).我的DAG今天上午9点30分或明天(2月8日上午9点30分)运行吗?

airflow airflow-scheduler

7
推荐指数
1
解决办法
4605
查看次数

标签 统计

airflow ×2

airflow-scheduler ×2