启动 Dataflow Flex 模板时图像引用不正确

Question

我们正在使用 Dataflow Flex 模板并遵循本指南 ( https://cloud.google.com/dataflow/docs/guides/templates/using-flex-templates ) 来暂存和启动作业。这在我们的环境中有效。但是，当我通过 SSH 连接到 Dataflow VM 并运行时，docker ps我看到它正在将不同的 docker 映像引用到我们在模板中指定的映像（以绿色下划线标出）：

我正在启动的模板如下，工作是使用创建的gcloud beta dataflow flex-template run：

{
"image": "gcr.io/<MY PROJECT ID>/samples/dataflow/streaming-beam-sql:latest",
"metadata": {
    "description": "An Apache Beam streaming pipeline that reads JSON encoded messages from Pub/Sub, uses Beam SQL to transform the message data, and writes the results to a BigQuery",
    "name": "Streaming Beam SQL",
    "parameters": [
        {
            "helpText": "Pub/Sub subscription to read from.",
            "label": "Pub/Sub input subscription.",
            "name": "inputSubscription",
            "regexes": [
                ".*"
            ]
        },
        {
            "helpText": "BigQuery table spec to write to, in the form 'project:dataset.table'.",
            "is_optional": true,
            "label": "BigQuery output table",
            "name": "outputTable",
            "regexes": [
                "[^:]+:[^.]+[.].+"
            ]
        }
    ]
},
"sdkInfo": {
    "language": "JAVA"
}
}

所以我希望 的输出docker ps显示gcr.io/<MY PROJECT ID>/samples/dataflow/streaming-beam-sql为 Dataflow 上的图像。当我从 GCR 启动图像以在 GCE 实例上运行时，我在运行时得到以下输出docker ps：

我应该希望在 Dataflow VM 上的 Dataflow 模板中看到我引用的图像的名称吗？还是我在某处错过了一步？

谢谢！

Answer 1

TLDR；您正在查看工作虚拟机而不是启动器虚拟机。

在 flex 模板的情况下，当您运行作业时，它首先创建一个启动器 VM，在其中拉取您的容器并运行它以生成作业图。完成此步骤后，此 VM 将被销毁。然后工作虚拟机开始实际运行生成的作业图。在工作虚拟机中，不需要您的容器。您的容器仅用于根据传递的参数生成作业图。

在您的情况下，您正在尝试在工作虚拟机中搜索您的映像。启动器 VM 的生命周期很短，以启动器-********************* 开头。如果您通过 SSH 连接到该虚拟机并执行此操作，docker ps您将能够看到您的容器映像。