我正在按照Cloud Data Fusion示例教程中的说明进行操作,并且一切似乎都正常进行,直到尝试在最后运行管道为止。根据说明为Google托管服务帐户设置了Cloud Data Fusion Service API权限。管道预览功能可以正常工作。
但是,当我部署并运行管道时,它在几分钟后失败了。在状态从配置更改为运行之后不久,管道就会停止,并出现以下权限错误:
com.google.api.client.googleapis.json.GoogleJsonResponseException: 403 Forbidden
{
"code" : 403,
"errors" : [ {
"domain" : "global",
"message" : "xxxxxxxxxxx-compute@developer.gserviceaccount.com does not have storage.buckets.create access to project X.",
"reason" : "forbidden"
} ],
"message" : "xxxxxxxxxxx-compute@developer.gserviceaccount.com does not have storage.buckets.create access to project X."
}
Run Code Online (Sandbox Code Playgroud)
xxxxxxxxxxx-compute@developer.gserviceaccount.com是我的项目的默认Compute Engine服务帐户。
不过,“ Project X”不是我的项目之一,我不知道为什么管道启动代码试图在此处创建一个存储桶,它确实在我的计算机中成功创建了临时存储桶(一个称为df-xxx和一个称为dataproc-xxx)项目失败之前。
我已经尝试使用两个单独的帐户执行此操作,并且在两个地方都遇到相同的错误。我曾尝试将存储/管理员角色添加到各种服务帐户,但无济于事,但这是在我意识到它试图完全访问另一个项目之前。
我刚刚安装了Cloud Data Fusion,并且在尝试浏览“ Cloud Storage Default”存储桶时遇到此错误。我该如何解决?
cloud-datafusion-management-sa@xxxxxxxxxxxx-tp.iam.gserviceaccount.com does not have storage.buckets.list access to project xxxxxxxxxxxxx
我正在尝试使用带有私有 IP 选项的 GCP Data Fusion Basic Edition,但是当我尝试创建管道时,每个操作都会给我这个错误
没有发现请求 POST /v3/namespaces/system/apps/pipeline/services/studio/methods/v1/contexts/default/validations/stage HTTP/1.1
关于如何解决这个问题的任何建议
谢谢
我已经在 Google Cloud Data Fusion 中部署了一个数据管道,但它没有按预期工作。有没有办法在 Cloud Data Fusion 中编辑已部署的数据管道,或者必须将其删除并从头开始重建并重新部署?
我在数据融合中有三个管道,比如 A、B 和 C。我希望管道 C 在执行管道 A 和管道 B 都完成后被触发。管道触发器仅依赖于一个管道。这可以在数据融合中实现吗?