重试任务的次数多于Airflow中指定的重试次数

Question

我最近将气流升级到了1.10.2。dag中的某些任务运行良好，而某些任务重试的次数超过了指定的重试次数。任务日志之一显示-启动尝试26，共2次。为什么调度程序即使在两次失败后仍对其进行调度？任何人都面临类似的问题吗？

示例Dag-

args = {
    'owner': airflow,
    'depends_on_past': False,
    'start_date': datetime(2019, 03, 10, 0, 0, 0),
    'retries':1,
    'retry_delay': timedelta(minutes=2),
    'email': ['my@myorg.com'],
    'email_on_failure': True,
    'email_on_retry': True
}

dag = DAG(dag_id='dag1',
    default_args=args,
    schedule_interval='0 12 * * *',
    max_active_runs=1)

data_processor1 = BashOperator(
    task_id='data_processor1',
    bash_command="sh processor1.sh {{ ds }} ",
    dag=dag)

data_processor2 = BashOperator(
    task_id='data_processor2',
    bash_command="ssh processor2.sh {{ ds }} ",
    dag=dag)

data_processor1.set_downstream(data_processor2)

Answer 1

这可能有用，

我试图生成与您在气流中遇到的相同错误，但我无法生成它。

在我的 Airflow GUI 中，它仅显示单次重试，然后将任务和 DAG 标记为失败，这是一般的气流行为，我不知道您为何以及如何面对此问题。

单击此处查看 DAG 的气流 GUI 的图像屏幕截图

您能否添加有关该问题的更多详细信息（例如日志等）。