谷歌云数据流使用的凭据

Question

当前对数据流使用的凭据/配置有些困惑...

从我的实验来看，数据流似乎总是使用默认配置而不是活动配置。那是对的吗？（例如，gcloud config在我的活动配置位于项目B上的情况下，如果我具有项目A的默认配置，似乎我的数据流作业将始终提交到项目A。同样，这种方式似乎数据流作业正在忽略什么是设置为options.setProject()，因此想知道何时options.getProject()再次使用数据流...？）

还想知道我是否可以通过自定义配置提交数据流作业，例如我想在同一运行中将多个作业提交到具有不同凭据的不同项目（而无需手动更改gcloud config）？

顺便说一句，我正在数据流服务云平台上运行数据流作业，但如果有帮助，请从非gce Cloudservices帐户提交该作业。

Answer 1

默认情况下，如果未指定凭据，则Google Cloud Dataflow使用应用程序默认凭据库来获取凭据。该库当前仅支持使用gcloud默认配置获取凭据。同样，对于项目，Google Cloud Dataflow使用gcloud默认配置。

为了能够在其他项目中运行作业，可以在命令行上手动指定（例如--project=myProject，如果使用PipelineOptionsFactory.fromArgs），或使用GcpOptions.setProject显式设置选项。

为了能够使用不同的凭据运行作业，可以构造一个凭据对象并可以使用GcpOptions.setGcpCredential对其进行显式设置，或者可以依靠应用程序默认凭据库支持自动生成凭据对象的方式（Google Cloud Dataflow是绑成。一个示例是使用此处GOOGLE_APPLICATION_CREDENTIALS解释的环境变量。