气流1.9到1.10升级,现在我在UI中获得空日志

And*_*idy 5 airflow

我最近从airflow 1.9升级到1.10并执行了以下命令:

  • 气流升级了
  • 改变了我在这里提到的所有芹菜配置名称
  • export SLUGIFY_USES_TEXT_UNIDECODE = yes
  • 补充:log_filename_template = {{ti.dag_id}}/{{ti.task_id}}/{{execution_date.strftime("%% Y - %% m - %% dT %% H:%% M:%% S" )}}/{{try_number}}.登录到我的配置

乔布斯似乎运行正常,但是当我单击日志时,不会出现在DAG任务节点中.

在此输入图像描述

我打开了我的网络选项卡,并且对以下网址的请求正在返回此JSON

$ AIRFLOW_URL/ariflow/get_logs_with_metadata?dag_id = XXXX&TASK_ID = XXXXX&execution_date = 2018-09-09T23%3A03%3A10.585986%2B00%3A00&try_number = 1&元数据=空

{"error":true,"message":["Task log handler file.task does not support read logs.\n'NoneType' object has no attribute 'read'\n"],"metadata":{"end_of_log":true}}
Run Code Online (Sandbox Code Playgroud)

此外,有一个404请求来获取js/form-1.0.0.js.有关获取日志重做的额外步骤的任何建议吗?

我可以确认日志目录中的日志显示在气流服务器上的任务中.

And*_*idy 9

使用https://github.com/apache/incubator-airflow/blob/master/airflow/config_templates/default_airflow.cfg

我以前有过

task_log_reader = file.task
Run Code Online (Sandbox Code Playgroud)

并将其更改为:

task_log_reader = task
Run Code Online (Sandbox Code Playgroud)

我还补充说:

log_filename_template = {{ ti.dag_id }}}}/{{ ti.task_id }}/{{ ts }}}}/{{ try_number }}.log
log_processor_filename_template = {{ filename }}.log
Run Code Online (Sandbox Code Playgroud)

  • 我希望配置文件的文档能够提供可用选项.我在当前项目中对Airflow最大的挫败感是你必须永远挖掘来自github的源代码来解决问题.以上是一个很好的例子.ti对象中还有哪些其他属性?以及我们还可以做什么来格式化文件名模板?如果你引入了一个新功能,请向社区抛出一个骨头,让我们知道你还能做些什么. (8认同)
  • 更改第一个配置对我来说也已修复,谢谢! (2认同)