标签: cdap

Google Cloud Data Fusion的权限问题

我正在按照Cloud Data Fusion示例教程中的说明进行操作,并且一切似乎都正常进行,直到尝试在最后运行管道为止。根据说明为Google托管服务帐户设置了Cloud Data Fusion Service API权限。管道预览功能可以正常工作。

但是,当我部署并运行管道时,它在几分钟后失败了。在状态从配置更改为运行之后不久,管道就会停止,并出现以下权限错误:

   com.google.api.client.googleapis.json.GoogleJsonResponseException: 403 Forbidden
    {
      "code" : 403,
      "errors" : [ {
        "domain" : "global",
        "message" : "xxxxxxxxxxx-compute@developer.gserviceaccount.com does not have storage.buckets.create access to project X.",
        "reason" : "forbidden"
      } ],
      "message" : "xxxxxxxxxxx-compute@developer.gserviceaccount.com does not have storage.buckets.create access to project X."
    }
Run Code Online (Sandbox Code Playgroud)

xxxxxxxxxxx-compute@developer.gserviceaccount.com是我的项目的默认Compute Engine服务帐户。

不过,“ Project X”不是我的项目之一,我不知道为什么管道启动代码试图在此处创建一个存储桶,它确实在我的计算机中成功创建了临时存储桶(一个称为df-xxx和一个称为dataproc-xxx)项目失败之前。

我已经尝试使用两个单独的帐户执行此操作,并且在两个地方都遇到相同的错误。我曾尝试将存储/管理员角色添加到各种服务帐户,但无济于事,但这是在我意识到它试图完全访问另一个项目之前。

google-cloud-platform cdap google-cloud-data-fusion

4
推荐指数
1
解决办法
190
查看次数

Cloud Data Fusion storagebucketslist权限问题

我刚刚安装了Cloud Data Fusion,并且在尝试浏览“ Cloud Storage Default”存储桶时遇到此错误。我该如何解决?

cloud-datafusion-management-sa@xxxxxxxxxxxx-tp.iam.gserviceaccount.com does not have storage.buckets.list access to project xxxxxxxxxxxxx

google-cloud-platform cdap google-cloud-data-fusion

3
推荐指数
1
解决办法
422
查看次数

GCP 数据融合没有可发现的错误

我正在尝试使用带有私有 IP 选项的 GCP Data Fusion Basic Edition,但是当我尝试创建管道时,每个操作都会给我这个错误

没有发现请求 POST /v3/namespaces/system/apps/pipeline/services/studio/methods/v1/contexts/default/validations/stage HTTP/1.1

关于如何解决这个问题的任何建议

谢谢

google-cloud-platform cdap google-cloud-data-fusion

3
推荐指数
1
解决办法
608
查看次数

如何编辑已发布的 Cloud Data Fusion Pipeline

我已经在 Google Cloud Data Fusion 中部署了一个数据管道,但它没有按预期工作。有没有办法在 Cloud Data Fusion 中编辑已部署的数据管道,或者必须将其删除并从头开始重建并重新部署?

cdap google-cloud-data-fusion

2
推荐指数
1
解决办法
1154
查看次数

数据融合中的管道依赖

我在数据融合中有三个管道,比如 A、B 和 C。我希望管道 C 在执行管道 A 和管道 B 都完成后被触发。管道触发器仅依赖于一个管道。这可以在数据融合中实现吗?

cdap google-cloud-data-fusion

1
推荐指数
1
解决办法
898
查看次数