数据流作业似乎被卡住，因为在过去 1 小时内没有看到工作线程活动

Question

我的数据流批处理作业不会在 5 小时内结束。仍在取消。

我每 10 分钟在调度程序中运行一次此类作业。

一般情况下，10分钟内完成。

但花了5个多小时！

我的工作是

2018-08-26_13_30_17-1172470278423820020

错误日志在这里

Stackdriver
2018-08-27 (06:33:14) Workflow failed. Causes: The Dataflow job appears to be stuck because no worker activity has been se... 2018-08-27 (08:34:08) Workflow failed. Causes: The Dataflow job appears to be stuck because no worker activity has been se... 2018-08-27 (10:34:58) Workflow failed. Causes: The Dataflow job appears to be stuck because no worker activity has been se... Workflow failed. Causes: The Dataflow job appears to be stuck because no worker activity has been seen in the last 1h. You can get help with Cloud Dataflow at https://cloud.google.com/dataflow/support.

Answer 1

一般The Dataflow job appears to be stuck because no worker activity has been seen in the last 1h可能是由于设置进度太长造成的。只需增加工人资源（通过--machine_type参数）即可解决该问题。

就我而言，我正在安装几个需要构建轮子的依赖项（pystan、fbprophet），并且在最小的计算机（具有 1 个 vCPU 和 3.75GB RAM）上花费了一个多小时n1-standard-1。使用更强大的实例（n1-standard-4其资源是原来的 4 倍）解决了我的问题。

如果有一个作业被卡住，情况可能并非如此，但可能会帮助其他人遇到同样的错误。