为什么 Dataflow 步骤未启动？

Question

我有一个线性的三步数据流管道——出于某种原因，最后一步开始了，但Not started在我放弃并终止这项工作之前，前两步挂了很长时间。我不确定是什么原因造成的，因为这个相同的管道在过去已经成功运行，而且我很惊讶它没有在日志中显示任何关于阻止前两个步骤开始的错误。什么会导致这种情况，我该如何防止它发生？

Answer 1

发生这种情况是因为工作器启动时出错。某些 Dataflow 步骤似乎不需要工人（例如写入 GCS），这就是该步骤能够启动的原因 - 即该步骤启动并不意味着正在正确创建工人。默认情况下，工作日志中不显示工作器启动 - 您需要单击Stackdriver作业日志中的链接，然后worker-startup在日志下拉列表中添加以查看任何这些错误。