气流随机不运行排队任务有些任务甚至没有排队状态.我在调度程序日志中一直看到以下内容
[2018-02-28 02:24:58,780] {jobs.py:1077} INFO - No tasks to consider for execution.
我确实看到数据库中的任务没有状态或排队状态,但它们永远不会开始.
气流设置在ECS上使用Redis 运行https://github.com/puckel/docker-airflow.有4个调度程序线程和4个Celery工作程序任务.当悬停在任务图标上时,未运行的任务显示在排队状态(灰色图标)操作符为空,任务详细信息显示:
All dependencies are met but the task instance is not running. In most cases this just means that the task will probably be scheduled soon unless:- The scheduler is down or under heavy load
调度程序上的度量标准不会显示负载.dag非常简单,2个独立任务仅取决于最后一次运行.同一个dag中的任务也没有状态(白色图标).
有趣的是要注意的是,当我重新启动调度程序时,任务更改为运行状态.
在我第一次涉足气流时,我正在尝试运行安装附带的示例DAGS之一.这是v.1.8.0.这是我的步骤:
$ airflow trigger_dag example_bash_operator
[2017-04-19 15:32:38,391] {__init__.py:57} INFO - Using executor SequentialExecutor
[2017-04-19 15:32:38,676] {models.py:167} INFO - Filling up the DagBag from /Users/gbenison/software/kludge/airflow/dags
[2017-04-19 15:32:38,947] {cli.py:185} INFO - Created <DagRun example_bash_operator @ 2017-04-19 15:32:38: manual__2017-04-19T15:32:38, externally triggered: True>
$ airflow dag_state example_bash_operator '2017-04-19 15:32:38'
[2017-04-19 15:33:12,918] {__init__.py:57} INFO - Using executor SequentialExecutor
[2017-04-19 15:33:13,229] {models.py:167} INFO - Filling up the DagBag from /Users/gbenison/software/kludge/airflow/dags
running
dag状态长时间保持"运行"状态(现在至少20分钟),但是通过快速检查这项任务,它应该需要几秒钟.我该如何解决这个问题？我怎样才能看到它被贴在哪一步？