我使用气流进行Spark作业的工作流程.安装后,我将DAG文件复制到airflow.cfg中设置的DAGs文件夹中.我可以回填DAG以成功运行BashOperators.但总有一个像上面提到的警告.我没有验证调度是否正常,但我怀疑调度可以工作,因为警告说主调度程序不知道我的DAG存在.如何消除此警告并获得调度工作？有人遇到同样的问题可以帮助我吗？
tob*_*bi6 21
这通常连接到调度程序未运行或刷新间隔太宽.没有日志条目存在,因此我们无法从那里进行分析.此外,不幸的是,原因可能会被忽略,因为这通常是问题的根源:
我没有验证调度是否正常.
首先,您应该检查以下两个服务是否都在运行:
airflow webserver
和
airflow scheduler
如果这没有帮助,请参阅此帖子以获取更多参考:Airflow 1.9.0正在排队但未启动任务
| 归档时间： |
|
| 查看次数： |
8153 次 |
| 最近记录： |