我有一个 dag,它定期检查要生成的新工作流(动态 DAG),如果找到,则创建它们。(参考:调度程序未添加动态 dag)
上面的 DAG 正在运行,动态 DAG 正在创建并列在网络服务器中。这里有两个问题:
错误:
DAG“app01_user”似乎丢失了。
所有其他动态生成的 DAG 也是如此。我已经编译了 Python 脚本并没有发现错误。
Edit1:我尝试清除所有数据并运行“气流运行”。它运行成功,但没有将动态生成的 DAG 添加到“airflow list_dags”。但是当运行命令“airflow list_dags”时,它加载并执行了 DAG(它生成了动态 DAG)。动态 DAG 也列出如下:
[root@cmnode dags]# airflow list_dags
sh: warning: setlocale: LC_ALL: cannot change locale (en_US.UTF-8\nLANG=en_US.UTF-8)
sh: warning: setlocale: LC_ALL: cannot change locale (en_US.UTF-8\nLANG=en_US.UTF-8)
[2019-08-13 00:34:31,692] {settings.py:182} INFO - settings.configure_orm(): Using pool settings. pool_size=15, pool_recycle=1800, pid=25386
[2019-08-13 00:34:31,877] {__init__.py:51} INFO - Using executor LocalExecutor
[2019-08-13 00:34:32,113] {__init__.py:305} INFO - Filling up the DagBag from /root/airflow/dags
/usr/lib/python2.7/site-packages/airflow/operators/bash_operator.py:70: PendingDeprecationWarning: Invalid arguments were passed to BashOperator (task_id: tst_dyn_dag). Support for passing such arguments will be dropped in Airflow 2.0. Invalid arguments were:
*args: ()
**kwargs: {'provide_context': True}
super(BashOperator, self).__init__(*args, **kwargs)
Run Code Online (Sandbox Code Playgroud)
-------------------------------------------------------------------
DAGS
-------------------------------------------------------------------
app01_user
app02_user
app03_user
app04_user
testDynDags
Run Code Online (Sandbox Code Playgroud)
再次运行时,上面生成的所有 4 个 dag 都消失了,只显示了基础 DAG,“testDynDags”。
Don*_*Don 12
当我收到此错误时,网络服务器日志中出现异常。一旦我解决了该错误并重新启动了它正常运行的网络服务器。
从我所看到的,这是当网络服务器尝试解析 dag 文件并且出现错误时抛出的错误。在我的情况下,导入我添加到插件的新运算符时出错。
归档时间: |
|
查看次数: |
14543 次 |
最近记录: |