Google Cloud Dataflow Python，检索作业 ID

Question

我目前正在使用Python处理数据流模板，我想访问作业 ID 并使用它来保存到特定的 Firestore 文档。

是否可以访问作业 ID？

我在文档中找不到与此相关的任何内容。

Answer 1

您可以通过dataflow.projects().locations().jobs().list从管道内调用来实现（请参阅下面的完整代码）。一种可能性是始终使用相同的作业名称调用模板，这是有意义的，否则作业前缀可以作为运行时参数传递。应用正则表达式解析作业列表以查看作业是否包含名称前缀，如果包含，则返回作业 ID。如果有多个，它只会返回最新的（当前正在运行的）。

在定义PROJECT和BUCKET变量后，模板被暂存：

python script.py \
    --runner DataflowRunner \
    --project $PROJECT \
    --staging_location gs://$BUCKET/staging \
    --temp_location gs://$BUCKET/temp \
    --template_location gs://$BUCKET/templates/retrieve_job_id

然后，myjobprefix在执行模板化作业时指定所需的作业名称（在我的情况下）：

gcloud dataflow jobs run myjobprefix \
   --gcs-location gs://$BUCKET/templates/retrieve_job_id

该retrieve_job_id函数将从作业中返回作业 ID，更改job_prefix以匹配给定的名称。

gcloud dataflow jobs run myjobprefix \
   --gcs-location gs://$BUCKET/templates/retrieve_job_id