标签: google-cloud-dataflow

可以在没有外部 IP 地址的情况下运行 Google Cloud Dataflow 吗?

在扩大 Google Cloud Dataflow 的使用范围时,我们注意到的一点是,我们将开始违反使用中 IP 地址的配额。我们知道请求增加配额是一种选择(并且已经这样做并已被批准用于 CPU),但想知道是否可以(或将要)在没有外部 IP 地址的情况下运行 Dataflow 实例(两者都是出于配额原因和 IP 地址的成本)。

google-cloud-dataflow

4
推荐指数
3
解决办法
2296
查看次数

如何停止谷歌云数据流中的流管道

我有一个流式数据流正在运行以读取 PUB/SUB 订阅。

经过一段时间或可能在处理一定数量的数据后,我希望管道自行停止。我不希望我的计算引擎实例无限期地运行。

当我通过数据流控制台取消作业时,它显示为失败的作业。

有没有办法实现这一目标?我错过了什么吗?或者 API 中缺少该功能。

google-compute-engine google-cloud-pubsub google-cloud-dataflow

4
推荐指数
1
解决办法
2859
查看次数

在 Dataflow 中将 BigQuery 联合表作为源读取会引发错误

我在 BigQuery 中有一个联合源,它指向 GCS 中的一些 CSV 文件。

当我尝试读取联合 BigQuery 表作为 Dataflow 管道的源时,它会引发以下错误:

    1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator  - Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7414_PLAYGROUND : 400 Bad Request
{
  "code" : 400,
  "errors" : [ {
    "domain" : "global",
    "message" : "Cannot list a table of type EXTERNAL.",
    "reason" : "invalid"
  } ],
  "message" : "Cannot list a table of type EXTERNAL."
}
Run Code Online (Sandbox Code Playgroud)

Dataflow 不支持 BigQuery 中的联合源,还是我做错了什么?我确实知道我可以将 GCS 中的文件直接读取到我的管道中,但TableRow由于应用程序的设计,我更喜欢使用 BigQuery对象。

 PCollection<TableRow> results = pipeline.apply("fed-test", BigQueryIO.Read.from("<project_id>:CPT_7414_PLAYGROUND.Federated_test_dataflow")).apply(ParDo.of(new DoFn<TableRow, …
Run Code Online (Sandbox Code Playgroud)

google-bigquery google-cloud-dataflow

4
推荐指数
2
解决办法
1573
查看次数

如何在 Google Dataflow 中为工作人员指定磁盘类型?

在文档中有一个选项 workerDiskType但我无法让它工作。我尝试使用持久性 SSD。每次我尝试一些东西时,我都会得到一个400没有解释的http 代码。

我尝试了所有这些值:

  • 区域/$ZONE/diskTypes/pd-ssd
  • 区域/$ZONE/磁盘/pd-ssd
  • 项目/$PROJECT/zones/$ZONE/diskTypes/pd-ssd
  • 项目/$PROJECT/zones/$ZONE/disks/pd-ssd

什么是正确的格式?这个选项有效吗?

我从 Dataflow 得到的答案并不是很有帮助:

{
  "code" : 400,
  "errors" : [ {
    "domain" : "global",
    "message" : "Request contains an invalid argument.",
    "reason" : "badRequest"
  } ],
  "message" : "Request contains an invalid argument.",
  "status" : "INVALID_ARGUMENT"
}
Run Code Online (Sandbox Code Playgroud)

java google-cloud-dataflow

4
推荐指数
1
解决办法
829
查看次数

如何重新洗牌 PCollection&lt;T&gt;?

我正在尝试实施Reshuffle转换以防止过度融合,但我不知道如何更改版本<KV<String,String>>以处理简单的 PCollections。(这里PCollection <KV<String,String>>描述了如何重新洗牌 。)

在我的管道中添加更多步骤之前,我将如何扩展官方 Avro I/O示例代码以重新洗牌?

PipelineOptions options = PipelineOptionsFactory.create();
Pipeline p = Pipeline.create(options);

Schema schema = new Schema.Parser().parse(new File("schema.avsc"));

PCollection<GenericRecord> records =
    p.apply(AvroIO.Read.named("ReadFromAvro")
        .from("gs://my_bucket/path/records-*.avro")
        .withSchema(schema));
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow

4
推荐指数
1
解决办法
1592
查看次数

从 Google Dataflow 连接到 CloudSql

从 Google Dataflow 作业连接到 CloudSql 时

public String cnstr = "jdbc:google:mysql://xxx:zzz:yyy/dbname?user=root&amp;password=****";
Connection conn = DriverManager.getConnection(cnstr);
                PreparedStatement st = conn.prepareStatement(selectSql))
Run Code Online (Sandbox Code Playgroud)

我收到此错误:

No suitable driver found for jdbc:google:mysql://
Run Code Online (Sandbox Code Playgroud)

任何帮助?

google-cloud-sql google-cloud-platform google-cloud-dataflow

4
推荐指数
1
解决办法
1115
查看次数

使用 Google 云数据流从一个数据存储读取数据并写入另一个数据存储

我正在尝试处理来自一个数据存储区(来自项目 A)的一些数据,并将其写入另一个(在项目 B 中)。我的运行失败,但异常-

 com.google.datastore.v1.client.DatastoreException: mismatched databases within request: <unknown!>~projecta vs. <unknown!>~projectb, code=INVALID_ARGUMENT
Run Code Online (Sandbox Code Playgroud)

从云数据流中做这样的事情是不可能的吗?

google-cloud-datastore google-cloud-dataflow

4
推荐指数
1
解决办法
388
查看次数

针对 Dataflow 中的“表”加入流

让我用一个稍微做作的例子来解释我想要做什么。想象一下,我有一系列交易,包括股票代码、股票数量和价格:{ symbol = "GOOG", count = 30, price = 200 }。我想用股票的名称来丰富这些事件,在这种情况下"Google"。

为此,我想在 Dataflow 内部维护一个由 a 更新的符号->名称映射“表” PCollection<KV<String, String>>,并将我的交易流与该表连接起来,产生例如 a PCollection<KV<Trade, String>>。

这似乎是流处理应用程序的一个非常基础的用例,但我很难弄清楚如何在 Dataflow 中实现这一点。我知道在 Kafka Streams 中这是可能的。

请注意,我不希望使用外部数据库的查询-我需要解决内部数据流这个问题,或者切换到卡夫卡流。

google-cloud-platform google-cloud-dataflow

4
推荐指数
1
解决办法
472
查看次数

将侧输入应用于 Apache Beam 中的 BigQueryIO.read 操作

有没有办法将侧输入应用于 Apache Beam 中的 BigQueryIO.read() 操作。

举例来说,我在 PCollection 中有一个值,我想在查询中使用它来从 BigQuery 表中获取数据。这可以使用侧面输入吗?或者在这种情况下应该使用其他东西吗?

我在类似的情况下使用了 NestedValueProvider,但我想我们只能在某个值取决于我的运行时值时使用它。或者我可以在这里使用相同的东西吗?如果我错了,请纠正我。

我试过的代码:

Bigquery bigQueryClient = start_pipeline.newBigQueryClient(options.as(BigQueryOptions.class)).build();
    Tabledata tableRequest = bigQueryClient.tabledata();

PCollection<TableRow> existingData = readData.apply("Read existing data",ParDo.of(new DoFn<String,TableRow>(){
    @ProcessElement
    public void processElement(ProcessContext c) throws IOException
    {
        List<TableRow> list = c.sideInput(bqDataView);
        String tableName = list.get(0).get("table").toString();
        TableDataList table = tableRequest.list("projectID","DatasetID",tableName).execute();

        for(TableRow row:table.getRows())
        {
            c.output(row);
        }
    }
    }).withSideInputs(bqDataView));
Run Code Online (Sandbox Code Playgroud)

我得到的错误是:

Exception in thread "main" java.lang.IllegalArgumentException: unable to serialize BeamTest.StarterPipeline$1@86b455
    at org.apache.beam.sdk.util.SerializableUtils.serializeToByteArray(SerializableUtils.java:53)
    at org.apache.beam.sdk.util.SerializableUtils.clone(SerializableUtils.java:90)
    at org.apache.beam.sdk.transforms.ParDo$SingleOutput.<init>(ParDo.java:569)
    at org.apache.beam.sdk.transforms.ParDo.of(ParDo.java:434)
    at BeamTest.StarterPipeline.main(StarterPipeline.java:158)
Caused by: java.io.NotSerializableException: com.google.api.services.bigquery.Bigquery$Tabledata …
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow apache-beam

4
推荐指数
1
解决办法
2134
查看次数

如何重新启动已取消的Cloud Dataflow流作业?

我已经为BigQuery数据流创建了标准的PubSub。但是,为了确保在脱机时不会花大钱,我取消了数据流。在GCP控制台中,似乎没有重新启动它的选项-是否可以通过控制台或通过外壳(如果可以,如何)来重新启动它?

google-cloud-platform google-cloud-dataflow

4
推荐指数
1
解决办法
2481
查看次数