如何在 Python 中列出 Google Storage 中的存储桶？

Question

我在 Python 脚本中有以下代码：

from google.oauth2 import service_account
SCOPES = ['https://www.googleapis.com/auth/sqlservice.admin']
SERVICE_ACCOUNT_FILE = 'JSON_AUTH_FILE'
credentials = service_account.Credentials.from_service_account_file(
            SERVICE_ACCOUNT_FILE, scopes=SCOPES)
import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = SERVICE_ACCOUNT_FILE

这可以通过谷歌进行身份验证。

现在我想列出所有存储桶：

from google.cloud import storage
storage_client = storage.Client()
buckets = list(storage_client.list_buckets())
print(buckets)

但这行不通。我得到：

google.api_core.exceptions.Forbidden: 403

xxx@yyy.iam.gserviceaccount.com does not have storage.buckets.list access to project

当我点击它时，我看到它还有一个链接（这很奇怪，因为它说403，但这里显示401：

{
 "error": {
  "errors": [
   {
    "domain": "global",
    "reason": "required",
    "message": "Anonymous caller does not have storage.buckets.list access to project NUMBER.",
    "locationType": "header",
    "location": "Authorization"
   }
  ],
  "code": 401,
  "message": "Anonymous caller does not have storage.buckets.list access to project NUMBER."
 }
}

我究竟做错了什么？

Answer 1

参考此链接建议的几件事： https://cloud.google.com/storage/docs/reference/libraries#client-libraries-install-python

您可以通过多种方式为服务帐户设置角色以访问 Google Storage： https://cloud.google.com/iam/docs/understanding-roles#cloud_storage_roles

创建服务帐户时使用默认角色

创建服务帐户时，选择项目角色：存储 -> 存储管理员。设置此角色将允许您的服务帐号访问和操作 Cloud Storage 中的对象。使用存储管理员角色可确保您向服务帐户授予最少的权限，使其无法访问其他服务。

如果您在身份验证方面遇到问题，也许可以考虑将角色设置为“项目”->“编辑器”，这应该为服务帐户提供对大多数 GCP 服务的编辑访问权限。请注意，如果服务帐户遭到泄露，用户将可以访问 GCP 项目中的大部分服务。

使用自定义角色继承多个角色

通过设置自定义角色，您可以继承授予许多默认角色的权限。执行此操作的一个好方法是使用GCP Console 的IAM 和管理 -> 角色部分中的“根据选择创建角色” 。

例如，您可以通过选中每个角色的复选框并创建您自己的自定义角色，将BigQuery 管理员和存储对象管理员合并为单个自定义角色，然后将其分配给GCP 的 IAM 部分中的服务账户。

一旦您拥有具有正确权限的服务帐户，您应该能够设置GOOGLE_APPLICATION_CREDENTIALS环境变量并使用google库来访问您的存储桶。

一旦您拥有具有正确角色的服务帐户，请尝试对代码进行此修改，以测试它是否可以列出该帐户有权访问的所有存储桶

import os
from google.cloud import storage

os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = "/home/user/Downloads/[FILE_NAME].json"

# Instantiates a client
storage_client = storage.Client()

# List all the buckets available
for bucket in storage_client.list_buckets():
    print(bucket)