Airflow 1.10.1 在哪里存储其三个服务（即网络服务器、调度程序和工作线程）的日志

Question

我们最近从 1.8 升级到 Airflow 1.10.1，我们观察到 Airflow 服务不再在 /var/log/airflow 中写入日志

我们使用自定义命令来运行气流服务，甚至这些命令不会写入命令中指定的日志文件：-

nohup 气流调度程序 -sd /usr/airflow/DAGS --stdout /dev/null --stderr Scheduler_error.log > /dev/null 2>nohup_error.log &

nohup 气流网络服务器 -p 8080 --stdout /dev/null --stderr /usr/airflow/airflow_webserver_error.log --error_logfile -> /dev/null 2>/usr/airflow/nohup_airflow_webserver.log &

Scheduler_error.log 和airflow_webserver_error.log 文件保持为空。

服务日志机制是否在气流中被破坏？

感谢你的帮助。

Answer 1

注意：这并不是真正的答案，而只是我有限经验的说明Airflow

最近我也被登录之谜所困扰Airflow（v1.10.2）。根据我的使用经验（LocalExecutor），我知道的如下（如有错误，请指正）

• 网络服务器日志：我从未找到任何明确标题为“webserver_logs”（或类似内容）的目录/文件。当然，当您调用命令时，您会在 ( Linux) shellairflow webserver上得到一些东西。然而，由于解析DAG目前是由webserver 进程完成的（查看此线程和AIP-12），因此可以在以下位置找到这些日志base_log_folder/scheduler/date/path/to/your_file.py.log（令人惊讶的是，它位于"scheduler"文件夹中）。正如@Chirrut Imwe 已经指出的那样，base_log_folder 默认 AIRFLOW_HOME/logs情况下

• 调度程序日志airflow scheduler：除了使用命令启动 shell 时在 shell 上看到的行之外，我不知道它们的行踪

• 任务日志：这些日志位于base_log_folder/dag_id/task_id/date_time/1.log。当然，您可以使用按钮直接在 WebUI 上看到它们（点击View Log气泡task后）

• 工人日志：因为我在LocalExecutor，所以从来没有遇到过这个。但你也可以尝试从他们也puckel/docker-airflow有规定的地方获取提示CeleryExecutor

该UPDATING.md页面有大量有关日志记录的内容