标签: google-cloud-dataflow

我们可以将 webhook 与 Google PubSub 连接吗?

我正在尝试将数据从外部 webhook/RSS 源流式传输到我的数据流中。我正在考虑使用发布/订阅来接收消息,然后在数据流中处理它。但是,我找不到这样做的选项。

除了设置侦听输入流的接收者队列服务器之外,是否有更好的方法在 GCP 作为托管服务中执行此操作?

google-cloud-platform google-cloud-pubsub google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
4016
查看次数

数据流导出到 Bigquery:insertAll 错误,表引用无效

我正在尝试使用 Dataflow、Pub/Sub 和 BigQuery 创建和导出合成数据流。我使用以下模式遵循合成数据生成说明:

{
    "id": "{{uuid()}}",
    "test_value": {{integer(1,50)}}
}
Run Code Online (Sandbox Code Playgroud)

该架构位于一个文件中gs://my-folder/my-schema.json。该流似乎运行正常 - 我可以使用“导出到云存储”模板从相应的 Pub/Sub 主题导出到 GCS 存储桶。当我尝试使用“导出到 BigQuery”模板时,我不断收到此错误:

Request failed with code 400, performed 0 retries due to IOExceptions, performed 0 retries due to unsuccessful status codes, HTTP framework says request can be retried, (caller responsible for retrying): https://bigquery.googleapis.com/bigquery/v2/projects/<my-project>/datasets/<my-dataset>/tables/<my-table>/insertAll.
Run Code Online (Sandbox Code Playgroud)

在开始导出作业之前,我创建了一个空表<my-project>:<my-dataset>.<my-table>,其中的字段与上面的 JSON 架构匹配:

id          STRING  NULLABLE    
test_value  INTEGER NULLABLE    
Run Code Online (Sandbox Code Playgroud)

我已经outputTableSpec设置为<my-project>:<my-dataset>.<my-table>.

google-bigquery google-cloud-pubsub google-cloud-dataflow

2
推荐指数
1
解决办法
2214
查看次数

Apache Beam Pipeline 使用 DirectRunner 运行,但在初始读取步骤期间因 DataflowRunner 失败(SDKharness sdk-0-0 已断开连接)

长话短说

我们有一个默认的 VPC。尝试运行数据流作业。初始步骤(读取文件)设法处理 1/2 步骤。获取JOB_MESSAGE_ERROR: SDK harness sdk-0-0 disconnected错误消息,但日志中没有其他内容。已尝试设置角色和 vpc 防火墙规则。

问题

我想使用 Geobeam 图像 (Apache Beam Python 3.9 SDK 2.41.0) 运行数据流作业。我对工作的定义如下:

def run(pipeline_args, known_args):
    import apache_beam as beam
    from apache_beam.io.gcp.internal.clients import storage
    from apache_beam.options.pipeline_options import PipelineOptions
    from geobeam.io import GeoJSONSource, filebasedsource
    from geobeam.fn import format_record, make_valid, filter_invalid

    pipeline_options = PipelineOptions([
        
    ] + pipeline_args)

    with beam.Pipeline(options=pipeline_options) as p:
        (p
         | beam.io.Read(GeoJSONSource(known_args.gcs_url, encoding='utf-8'))
         | 'FilterCords' >> beam.Filter(lambda x: len(x[-1]["coordinates"]) > 1)
         | 'MakeValid' >> beam.Map(make_valid)
         | 'FilterInvalid' >> beam.Filter(filter_invalid) …
Run Code Online (Sandbox Code Playgroud)

python geojson google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
1177
查看次数

什么是BigQuery的表装饰器的云数据流等价物?

我们在BigQuery中有一个大表,其中数据正在流入.每天晚上,我们都想运行处理过去24小时数据的Cloud Dataflow管道.

在BigQuery中,可以使用" 表装饰器 " 执行此操作,并指定我们想要的范围,即24小时.

从BQ表读取时,Dataflow中是否可以以某种方式实现相同的功能?

我们已经看过Dataflow 的' Windows '文档,但我们无法确定这是否是我们需要的.到目前为止我们想出了这个(我们希望最后24小时的数据使用FixedWindows),但它仍然试图读取整个表格:

pipeline.apply(BigQueryIO.Read
                .named("events-read-from-BQ")
                .from("projectid:datasetid.events"))
                .apply(Window.<TableRow>into(FixedWindows.of(Duration.standardHours(24))))
                .apply(ParDo.of(denormalizationParDo)
                        .named("events-denormalize")
                        .withSideInputs(getSideInputs()))
                .apply(BigQueryIO.Write
                        .named("events-write-to-BQ")
                        .to("projectid:datasetid.events")
                        .withSchema(getBigQueryTableSchema())
                        .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE)                          .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED));
Run Code Online (Sandbox Code Playgroud)

我们走在正确的轨道上吗?

google-cloud-dataflow

1
推荐指数
1
解决办法
190
查看次数

使用ParDo的processElement消耗REST API

在破解快速CSV格式到Firebase上传的过程中,我只是这样做,而不是编写自定义接收器。这是代码的过度简化:

public static void main(String[] args) throws Exception {

    Options options = PipelineOptionsFactory.as(Options.class);
    Pipeline p = Pipeline.create(options);

    PCollection<String> CsvData = p.apply(TextIO.Read.from("/my_file.csv"));
    CsvData.apply(ParDo.named("Firebase").of(new DoFn<String, Void>() {
          @Override
          public void processElement(ProcessContext c) {
              Firebase fb = new Firebase("https://MYAPP.firebaseio.com/");
              fb.child("someId").setValue(c.element.getValue());
          }
        });

}
Run Code Online (Sandbox Code Playgroud)

有用。这是在Cloud Dataflow上使用REST API的地方吗?

java firebase google-cloud-dataflow

1
推荐指数
1
解决办法
573
查看次数

使用Google数据存储区以流模式检查项目

我想将项目插入Google Datastore(如果它们不存在).我写了一个数据流流媒体作业.

工作

static class RawToObjectConverter extends DoFn<String, Entity> {
    @Override
    public void processElement(ProcessContext c) {      

        Query<Entity> query = Query.entityQueryBuilder().kind("Post").filter(PropertyFilter.eq("postid", rq.postid))
                .build();
        QueryResults<Entity> posts = datastore.run(query);

        if (posts == null || !posts.hasNext()) {
            Entity post = Entity.builder(datastore.newKeyFactory().newKey("Post"))                 
                     .set("postid", "1")
                    .set("title", "p1")
                    .build();
            c.output(post);
        }           
    }
}
Run Code Online (Sandbox Code Playgroud)

问题

lines.apply(ParDo.of(new RawToObjectConverter()))
    .apply(DatastoreIO.v1().write().withProjectId(projectid));
Run Code Online (Sandbox Code Playgroud)

apply(PTransform<? super PCollection<Entity>,OutputT>)类型中的方法PCollection<Entity>不适用于参数(DatastoreV1.Write)

我也应该使用com.google.cloud.datastore.Datastore或com.google.datastore.v1.Entity?

google-cloud-datastore google-cloud-platform google-cloud-dataflow

1
推荐指数
1
解决办法
165
查看次数

Google Cloud Dataflow TextIO是否写入.gz文件?

我们如何通过Google数据流作业在GCS中创建压缩文件?

我无法指定压缩类型.如果该功能尚未出现,是否有更简洁的方法从Google BigQuery的查询输出到压缩文件?

google-cloud-storage google-bigquery google-cloud-dataflow apache-beam

1
推荐指数
1
解决办法
318
查看次数

在非轻量级DoFn中访问侧输入

如果我的类扩展了DoFn,如何访问侧输入的元素?

例如:

假设我有一个ParDo变换,如:

PCollection<String> data = myData.apply("Get data",
    ParDo.of(new MyClass()).withSideInputs(myDataView));
Run Code Online (Sandbox Code Playgroud)

我有一节课: -

static class MyClass extends DoFn<String,String>
{
    //How to access side input here
}
Run Code Online (Sandbox Code Playgroud)

在这种情况下,c.sideInput()不起作用.

谢谢.

google-cloud-dataflow apache-beam

1
推荐指数
1
解决办法
774
查看次数

如何使用小捆绑流媒体流水线中的N个元素批量?

我已经按照本答案中的描述实现了N个元素的批处理: google dataflow管道中的数据存储输入是否可以一次处理一批N个条目?



    package com.example.dataflow.transform;

    import com.example.dataflow.event.ClickEvent;
    import org.apache.beam.sdk.transforms.DoFn;
    import org.apache.beam.sdk.transforms.windowing.GlobalWindow;
    import org.joda.time.Instant;

    import java.util.ArrayList;
    import java.util.List;

    public class ClickToClicksPack extends DoFn> {
        public static final int BATCH_SIZE = 10;

        private List accumulator;

        @StartBundle
        public void startBundle() {
            accumulator = new ArrayList(BATCH_SIZE);
        }

        @ProcessElement
        public void processElement(ProcessContext c) {
            ClickEvent clickEvent = c.element();
            accumulator.add(clickEvent);
            if (accumulator.size() >= BATCH_SIZE) {
                c.output(accumulator);
                accumulator = new ArrayList(BATCH_SIZE);
            }
        }

        @FinishBundle
        public void finishBundle(FinishBundleContext c) {
            if (accumulator.size() > 0) {
                ClickEvent clickEvent = accumulator.get(0); …
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow apache-beam

1
推荐指数
1
解决办法
1301
查看次数

使用gcloud cli执行具有多个输入/输出的Dataflow作业

我已经在Dataprep中设计了一个数据转换,现在正尝试使用Dataflow中的模板来运行它。我的流程有几个输入和输出-数据流模板将它们作为json对象提供,每个输入和位置都有键/值对。它们看起来像这样(添加了换行符以便于阅读):

{
    "location1": "project:bq_dataset.bq_table1",
    #...
    "location10": "project:bq_dataset.bq_table10",
    "location17": "project:bq_dataset.bq_table17"
}
Run Code Online (Sandbox Code Playgroud)

我有17个输入(主要是查找)和2个输出(一个csv,一个bigquery)。我将这些传递给gcloudCLI像这样:

gcloud dataflow jobs run job-201807301630 /
    --gcs-location=gs://bucketname/dataprep/dataprep_template /
    --parameters inputLocations={"location1":"project..."},outputLocations={"location1":"gs://bucketname/output.csv"}
Run Code Online (Sandbox Code Playgroud)

但是我遇到一个错误:

ERROR: (gcloud.dataflow.jobs.run) unrecognized arguments:
inputLocations=location1:project:bq_dataset.bq_table1,outputLocations=location2:project:bq_dataset.bq_output1
inputLocations=location10:project:bq_dataset.bq_table10,outputLocations=location1:gs://bucketname/output.csv
Run Code Online (Sandbox Code Playgroud)

从错误消息看,它似乎正在合并输入和输出,以便当我有两个输出时,每两个输入都与两个输出配对:

input1:output1
input2:output2
input3:output1
input4:output2
input5:output1
input6:output2
...
Run Code Online (Sandbox Code Playgroud)

我试过引用输入/输出对象(单个和两个,再加上删除对象中的引号),将它们包装成[],使用波浪号,但不高兴。是否有人设法执行具有多个输入的数据流作业?

google-cloud-platform gcloud google-cloud-dataflow google-cloud-dataprep

1
推荐指数
1
解决办法
807
查看次数