在哪里保存用于 Google Cloud Composer 连接设置的服务帐户密钥文件?

Cha*_*han 6 google-cloud-platform airflow google-cloud-composer

我正在尝试使用服务帐户密钥在 Google Cloud Composer 中设置 Google Cloud Platform 连接。所以我创建了一个 GCS 存储桶并将服务帐户密钥文件放在存储桶中。密钥存储在 JSON 中。在密钥文件路径字段中,我指定了一个 GCS 存储桶,在密钥文件 JSON 字段中,我指定了文件名。范围是https://www.googleapis.com/auth/cloud-platform

尝试使用此连接启动 Dataproc 集群时,出现找不到 JSON 文件的错误。

查看错误消息,代码尝试使用以下方法解析文件: with open(filename, 'r') as file_obj这显然不适用于 GCS 存储桶路径。

所以我的问题是,如果不能将这个服务帐户密钥文件放在 GCS 路径中,我应该把它放在哪里?

Sim*_*onD 2

这对我来说没有多大意义。我不使用 Google Cloud,所以可能只是我缺乏知识:

如果您尝试建立与 GCP 的连接,如何将您的凭据存储在 GCP 内并期望从气流服务器进行连接?先有鸡还是先有蛋的事情。

查看gcp_api_base_hook.py气流存储库中的 ,看起来它希望您在连接的额外 json 属性中指定key_path和/或 a keyfile_dict,以及如何连接的逻辑在这里