小编Rob*_*ert的帖子

Airflow 未拾取新的 DAG/DAG 更改

问题 :

新的 DAG 或对现有 DAG 的更改不会显示在 Airflow Web 服务器上以供在应用程序中使用。

例如。假设我在 DAG 目录中添加一个新的 DAG:

有什么作用:

  • 如果我运行,$ airflow dags list那么 dag 就会出现。
  • 同样,如果我使用以下命令查看数据库select dag_id from dag;,则存在新的 dag。因此它被拾取并放入数据库中。

什么不起作用:

  • 对 DAG 的更改不会显示在 Web 应用程序中
  • 如果我查看表中数据库中的DAG源代码dag_code,源代码没有被更新
  • 如果我重新启动或停止/启动 Web 服务器和/或调度程序,则 DAG 仍然不会显示在 Web 服务器中或在表中更改dag_code

最后有什么作用:

  • 如果我$ airflow db init再次运行,那么更改就会生效并且一切正常......

所以我的系统是稳定且可用的,因为我正在破解以下功能:$ airflow db init。由于运行此命令不会影响数据库中的数据,因此我实际上可以像这样工作,只需在每次发生更改时运行该命令即可。但我担心,因为这并没有按预期发挥作用,它可能掩盖了更深层次的问题。

任何帮助将不胜感激。我在下面列出了我的系统规格和气流设置。

系统规格和气流设置:

系统规格

  • 操作系统:CentOS Linux 7(核心)
  • Python虚拟环境:Python 3.6.7、Airflow 2.1.3、pip 21.3.1
  • systemctl --版本:systemd 219
  • psql (PostgreSQL) 9.2.23

气流设置:

airflow.cfg相关参数: …

linux postgresql python-3.x systemctl airflow-2.x

8
推荐指数
0
解决办法
1239
查看次数

标签 统计

airflow-2.x ×1

linux ×1

postgresql ×1

python-3.x ×1

systemctl ×1