气流随机不运行排队任务有些任务甚至没有排队状态.我在调度程序日志中一直看到以下内容
[2018-02-28 02:24:58,780] {jobs.py:1077} INFO - No tasks to consider for execution.
我确实看到数据库中的任务没有状态或排队状态,但它们永远不会开始.
气流设置在ECS上使用Redis 运行https://github.com/puckel/docker-airflow.有4个调度程序线程和4个Celery工作程序任务.当悬停在任务图标上时,未运行的任务显示在排队状态(灰色图标)操作符为空,任务详细信息显示:
All dependencies are met but the task instance is not running. In most cases this just means that the task will probably be scheduled soon unless:- The scheduler is down or under heavy load
调度程序上的度量标准不会显示负载.dag非常简单,2个独立任务仅取决于最后一次运行.同一个dag中的任务也没有状态(白色图标).
有趣的是要注意的是,当我重新启动调度程序时,任务更改为运行状态.