Google云端数据流作业失败并显示错误"无法检索暂存文件:3次尝试无法检索工作人员:错误的MD5 ..."

Question

SDK:Apache Beam SDK for Go 0.5.0

我们在Google Cloud Data Flow中运行Apache Beam Go SDK作业.他们一直工作正常,直到最近他们间歇性地停止工作(没有对代码或配置进行任何更改).发生的错误是:

Failed to retrieve staged files: failed to retrieve worker in 3 attempts: bad MD5 for /var/opt/google/staged/worker: ..., want ; bad MD5 for /var/opt/google/staged/worker: ..., want ;

(注意:好像它在错误消息消息中缺少第二个哈希值.)

我最好能猜出工人有什么问题 - 似乎是在尝试比较工人的md5哈希值并错过其中一个值？我不知道究竟是什么比较.

有谁知道可能导致这个问题的原因是什么？

Answer 1

此问题的解决方案似乎是使用最新的更改重建worker_harness_container_image。我已经尝试过这个，但是当我在本地构建它时没有最新版本。在我从 Beam 存储库中提取最新版本并重建图像（根据此处的注释https://github.com/apache/beam/blob/master/sdks/CONTAINERS.md）并重新运行后，它似乎再次工作了。