气流工作器 - 连接中断：IncompleteRead（读取 0 个字节）

Question

使用 Airflow worker 和 webserver/scheduler 作为在 EC2 上的 Kubernetes Engine 上运行的 Docker 镜像

我们有一个KubernetesPodOperator资源密集型任务，每 15 分钟运行一次。

在airflow-worker中收到这些错误作为电子邮件

Try 2 out of 3
Exception:
('Connection broken: IncompleteRead(0 bytes read)', IncompleteRead(0 bytes read))
Log: Link
Host: airflow-worker-deployment-123456789
Log file: /usr/local/airflow/logs/DAG_NAME/TASK_NAME/2019-03-14T10:50:00+00:00.log
Mark success: Link

知道它可以是什么吗？

Answer 1

所以，迟到总比不到好

这是因为KubernetesPodOperator. 为避免这种行为，您必须将操作符get_logs参数设置为False. 默认值为True.

详情请见 https://issues.apache.org/jira/browse/AIRFLOW-3534 https://issues.apache.org/jira/browse/AIRFLOW-5571