Google Cloud Composer (Apache Airflow) 无法访问日志文件

Question

我正在 Google Cloud Composer（托管 Airflow）中运行 DAG，它在本地 Airflow 中运行良好。它所做的只是打印“Hello World”。但是，当我通过 Cloud Composer 运行它时，我收到错误：

*** Log file does not exist: /home/airflow/gcs/logs/matts_custom_dag/main_test/2020-04-20T23:46:53.652833+00:00/2.log
*** Fetching from: http://airflow-worker-d775d7cdd-tmzj9:8793/log/matts_custom_dag/main_test/2020-04-20T23:46:53.652833+00:00/2.log
*** Failed to fetch log file from worker. HTTPConnectionPool(host='airflow-worker-d775d7cdd-tmzj9', port=8793): Max retries exceeded with url: /log/matts_custom_dag/main_test/2020-04-20T23:46:53.652833+00:00/2.log (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8825920160>: Failed to establish a new connection: [Errno -2] Name or service not known',))

我还尝试过让 DAG 将数据添加到数据库中，实际上成功率是 50%。但是，它始终返回此错误消息（并且不返回其他打印语句或日志）。对于为什么会发生这种情况，任何帮助都非常感激。

Answer 1

我们也遇到了同样的问题，然后向 GCP 提出了支持请求，并得到了以下答复。

\n\n

\n

1. 该消息与从 Airflow Worker 同步日志到 WebServer 的延迟有关，至少需要几分钟（取决于对象的数量及其大小）\n总日志大小似乎不大，但 \xe2\x80\x99s 足够了显着减慢同步速度，因此，我们建议清理/归档日志

\n

2. 基本上，我们建议改用 Stackdriver 日志，因为此同步的设计会导致延迟

\n

\n\n

我希望这能帮助您解决问题。

\n