小编Pau*_*icz的帖子

部署新任务的过程

我需要一些有关如何在部署时重新启动所有气流服务而又不致于在执行过程中杀死工人的建议。

我已经为DAG编写了一个部署过程,该过程在virtualenv中安装了气流和任何其他pip依赖项。准备好发布目录后,我:

  1. 停止气流开花,气流工作人员,气流调度程序和气流网络服务器
  2. 更新“当前” simlink以指向我的新版本
  3. 启动气流花,气流工人,气流计划程序和气流网络服务器

此部署过程的问题是工人立即被杀死。我想在脚本中添加某种监视,以暂停所有DAG,等待工作人员空闲,然后重新启动服务,但是气流CLI无法得知启用了哪些dag以及工作人员是否空闲的方式。

我知道许多气流服务可以自动检测dags文件夹中的更改,但是我希望每个部署都具有自己的virtualenv。如果我不重新启动所有服务,则新部署将不会在我的requirements.txt文件中使用新行。

airflow

5
推荐指数
2
解决办法
3200
查看次数

标签 统计

airflow ×1