Airflow - 将给定 dag_id 和 run_id 的特定 task_id 标记为成功或失败

ap1*_*234 5 airflow

我可以在外部(使用http请求吗?)将与dag_id和run_id关联的特定task_id标记为成功/失败。

我的任务是外部系统上长时间运行的任务,我不希望我的任务轮询系统以查找状态..因为我们可能可以同时运行几个 1000 个任务..

理想情况下希望我的任务

  • 发出一个 http 请求来开始我的外部工作
  • 去睡觉
  • 一旦作业完成,它(外部系统或我的作业的构建后操作)通知气流任务已完成(由task_id、dag_id和run_id标识)

谢谢

kvb*_*kvb 1

Airflow 还没有 Rest 端点。但是,您有几个选择 - 使用气流命令行实用程序将作业标记为成功。例如,在 python 中使用 Popen。- 直接更新Airflow DB表task_instance