标签: google-cloud-data-fusion

我刚刚安装了Cloud Data Fusion，并且在尝试浏览“ Cloud Storage Default”存储桶时遇到此错误。我该如何解决？

cloud-datafusion-management-sa@xxxxxxxxxxxx-tp.iam.gserviceaccount.com does not have storage.buckets.list access to project xxxxxxxxxxxxx

尝试使用数据融合，但牧马人卡在启用：

查看仪表板，Dataprep 服务状态为红色：

日志：

2019-04-12 11:23:32,923 - DEBUG [provisioning-service-12:i.c.c.i.p.t.ProvisioningTask@75] - Starting PROVISION task for program run program_run:system.dataprep.-SNAPSHOT.service.service.66a0ee78-5d15-11e9-b29e-02e34d3797c9.
2019-04-12 11:23:33,024 - DEBUG [provisioning-service-12:i.c.c.i.p.t.ProvisioningTask@105] - Executing PROVISION subtask REQUESTING_CREATE for program run program_run:system.dataprep.-SNAPSHOT.service.service.66a0ee78-5d15-11e9-b29e-02e34d3797c9.
2019-04-12 11:23:33,024 - DEBUG [provisioning-service-12:i.c.c.i.p.t.ProvisioningTask@109] - Completed PROVISION subtask REQUESTING_CREATE for program run program_run:system.dataprep.-SNAPSHOT.service.service.66a0ee78-5d15-11e9-b29e-02e34d3797c9.
2019-04-12 11:23:33,035 - DEBUG [provisioning-service-12:i.c.c.i.p.t.ProvisioningTask@105] - Executing PROVISION subtask POLLING_CREATE for program run program_run:system.dataprep.-SNAPSHOT.service.service.66a0ee78-5d15-11e9-b29e-02e34d3797c9.
2019-04-12 11:23:33,036 - DEBUG [provisioning-service-12:i.c.c.i.p.t.ProvisioningTask@109] - Completed PROVISION subtask POLLING_CREATE for program run program_run:system.dataprep.-SNAPSHOT.service.service.66a0ee78-5d15-11e9-b29e-02e34d3797c9.
2019-04-12 11:23:33,105 - DEBUG [provisioning-service-12:i.c.c.i.p.t.ProvisioningTask@105] - Executing …

有谁知道是否可以以编程方式导入/导出 DataFlow 管道（已部署或处于草稿状态）？

我们的想法是编写一个脚本来删除并创建一个 DataFusion 实例，以避免在不使用时计费。通过 gloud 命令行，可以配置 DataFusion 集群并销毁它，但自动导出和导入我的所有管道也会很有趣。

不幸的是，官方文档并没有帮助我......

谢谢！

如何访问 Cloud Data Fusion 实例的 CDAP REST API？我想使用 Cloud Composer 来编排我的管道。

我有一个启用了私有 IP 的企业版实例，但我找不到任何有关如何访问 REST API 的文档。

实例详细信息页面仅显示 /22 IP 地址范围 - 它不指定特定 IP。我是否可以使用 UI 的 IAP 保护 URL 进行访问？

我正在尝试使用 Google Data Fusion 免费版本将简单的 CSV 文件从 GCS 加载到 BQ。管道因错误而失败。它读着

com.google.api.gax.rpc.InvalidArgumentException: io.grpc.StatusRuntimeException: INVALID_ARGUMENT: Insufficient 'DISKS_TOTAL_GB' quota. Requested 3000.0, available 2048.0.
    at com.google.api.gax.rpc.ApiExceptionFactory.createException(ApiExceptionFactory.java:49) ~[na:na]
    at com.google.api.gax.grpc.GrpcApiExceptionFactory.create(GrpcApiExceptionFactory.java:72) ~[na:na]
    at com.google.api.gax.grpc.GrpcApiExceptionFactory.create(GrpcApiExceptionFactory.java:60) ~[na:na]
    at com.google.api.gax.grpc.GrpcExceptionCallable$ExceptionTransformingFuture.onFailure(GrpcExceptionCallable.java:97) ~[na:na]
    at com.google.api.core.ApiFutures$1.onFailure(ApiFutures.java:68) ~[na:na]

Mapreduce 和 Spark 执行管道都会重复相同的错误。感谢您为解决此问题提供的任何帮助。谢谢

问候卡

我正在尝试使用带有私有 IP 选项的 GCP Data Fusion Basic Edition，但是当我尝试创建管道时，每个操作都会给我这个错误

没有发现请求 POST /v3/namespaces/system/apps/pipeline/services/studio/methods/v1/contexts/default/validations/stage HTTP/1.1

关于如何解决这个问题的任何建议

谢谢

I'm having a go at creating my first data fusion pipeline. The data is going from Google Cloud Storage csv file to Big Query.

I have created the pipeline and carried out a preview run which was successful but after deployment trying to run resulted in error.

I pretty much accepted all the default settings apart from obviously configuring my source and destination.

Error from Log ...

com.google.api.client.googleapis.json.GoogleJsonResponseException: 403 
Forbidden
{
"code" : 403,
"errors" : [ {
"domain" : …

我有一个包含大约 1000 个表的 MS SQL Server 数据源，我需要将其放入 BigQuery。我希望使用 Data Fusion 将它们全部加载到 BigQuery 中的临时表中，然后对它们执行转换。但是，一旦我创建了一个带有两个“岛”的管道，它就会出现 DAG 错误。这是一个功能还是我做错了什么？我在文档中找不到任何内容。我的管道如下所示：

我在尝试部署时遇到的错误是：“无效的 DAG。有一个由阶段 BigTest、BigQuery BigTest 组成的岛（没有其他阶段连接到它们）。”

我已经在 Google Cloud Data Fusion 中部署了一个数据管道，但它没有按预期工作。有没有办法在 Cloud Data Fusion 中编辑已部署的数据管道，或者必须将其删除并从头开始重建并重新部署？

我正在尝试在 GCP Data Fusion 中部署管道。我最初正在使用免费帐户，但按照此处看到的以下问题中的建议进行升级以增加配额。

但是，根据公认的答案，我仍然不清楚在 GCE 中增加什么特定配额以使管道能够运行。有人可以在上述链接问题中提供更清晰的信息，或者在此处回复以详细说明需要增加 IAM 配额中的内容以解决此处看到的问题：

com.google.api.gax.rpc.InvalidArgumentException: io.grpc.StatusRuntimeException: INVALID_ARGUMENT: Insufficient 'DISKS_TOTAL_GB' quota. Requested 3000.0, available 2048.0.
    at com.google.api.gax.rpc.ApiExceptionFactory.createException(ApiExceptionFactory.java:49) ~[na:na]
    at com.google.api.gax.grpc.GrpcApiExceptionFactory.create(GrpcApiExceptionFactory.java:72) ~[na:na]
    at com.google.api.gax.grpc.GrpcApiExceptionFactory.create(GrpcApiExceptionFactory.java:60) ~[na:na]
    at com.google.api.gax.grpc.GrpcExceptionCallable$ExceptionTransformingFuture.onFailure(GrpcExceptionCallable.java:97) ~[na:na]
    at com.google.api.core.ApiFutures$1.onFailure(ApiFutures.java:68) ~[na:na]
    at com.google.common.util.concurrent.Futures$4.run(Futures.java:1123) ~[com.google.guava.guava-13.0.1.jar:na]
    at com.google.common.util.concurrent.MoreExecutors$DirectExecutor.execute(MoreExecutors.java:435) ~[na:na]
    at com.google.common.util.concurrent.AbstractFuture.executeListener(AbstractFuture.java:900) ~[com.google.guava.guava-13.0.1.jar:na]
    at com.google.common.util.concurrent.AbstractFuture.complete(AbstractFuture.java:811) ~[com.google.guava.guava-13.0.1.jar:na]
    at com.google.common.util.concurrent.AbstractFuture.setException(AbstractFuture.java:675) ~[com.google.guava.guava-13.0.1.jar:na]
    at io.grpc.stub.ClientCalls$GrpcFuture.setException(ClientCalls.java:515) ~[na:na]
    at io.grpc.stub.ClientCalls$UnaryStreamToFuture.onClose(ClientCalls.java:490) ~[na:na]
    at io.grpc.PartialForwardingClientCallListener.onClose(PartialForwardingClientCallListener.java:39) ~[na:na]
    at io.grpc.ForwardingClientCallListener.onClose(ForwardingClientCallListener.java:23) ~[na:na]
    at io.grpc.ForwardingClientCallListener$SimpleForwardingClientCallListener.onClose(ForwardingClientCallListener.java:40) ~[na:na]
    at io.grpc.internal.CensusStatsModule$StatsClientInterceptor$1$1.onClose(CensusStatsModule.java:700) ~[na:na]
    at io.grpc.PartialForwardingClientCallListener.onClose(PartialForwardingClientCallListener.java:39) ~[na:na]
    at io.grpc.ForwardingClientCallListener.onClose(ForwardingClientCallListener.java:23) ~[na:na]
    at io.grpc.ForwardingClientCallListener$SimpleForwardingClientCallListener.onClose(ForwardingClientCallListener.java:40) ~[na:na]
    at …