标签: airflow-worker

我想通过 Prometheus 监控我的 Airflow-Worker 日志。目前，我正在发送官方文档 - Airflow-Metrics-docs 中提供的 Airflow-Webserver 指标。因此 statsd 导出器将这些指标发送给 prometheus 进行监控。

有什么方法可以添加自定义规则，以便 Prometheus 也监控我的 Worker 日志。

在我的Airflow DAG我有 4tasks

task_1 >> [task_2,task_3]>> task_4

task_4仅在成功运行task_2和task_3

我如何设置条件，例如：

如果task_2失败，请task_2在 2 分钟后重试，并在第 5 次尝试后停止重试

这是我的代码：

from airflow.models import DAG
from airflow.utils.dates import days_ago
from airflow.operators.python_operator import PythonOperator

args={
    'owner' : 'Anti',
    'start_date':days_ago(1)# 1 means yesterday
}

dag = DAG(dag_id='my_sample_dag',default_args=args,schedule_interval='15 * * * *')

def func1(**context):
    print("ran task 1")

def func2(**context):
    print("ran task 2")

def func3(**context):
    print("ran task 3")

def func4(**context):
    print("ran task 4")

with dag:
    task_1=PythonOperator(
        task_id='task1',
        python_callable=func1,
        provide_context=True, …