标签: google-cloud-dataflow

在 Dataflow 流水线处理完所有数据后执行操作

批处理 Dataflow 作业处理完所有数据后是否可以执行操作?具体来说,我想将管道刚刚处理的文本文件移动到不同的 GCS 存储桶。我不确定将它放在我的管道中的哪个位置以确保它在数据处理完成后执行一次。

google-cloud-dataflow

5
推荐指数
1
解决办法
3638
查看次数

数据流中的 JNI

我需要在我的 Dataflow 管道中使用 JNI。JNI 使用 C++ 库,该库对其他系统库有大量外部依赖。当工作人员运行使用 C++ 库的 DoFn 时,确保库位于操作系统中应位于的位置的最佳方法是什么?

我发现DataflowPipelineOptions.setWorkerHarnessContainerImage可能允许我从Google Container Registry指定自定义 docker 映像,我可以在其上安装大量库,但文档没有说明更多。在安装的包、入口点等方面对 docker 镜像有什么要求吗?

java-native-interface google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
435
查看次数

用于 Google Cloud Dataflow 工作器的自定义虚拟机映像

浏览了 Google Cloud Dataflow 文档后,我的印象是工作虚拟机运行特定的预定义 Python 2.7 环境,而没有任何选项可以更改它。是否可以为工作人员提供自定义 VM 映像(使用库、特定应用程序需要的外部命令构建)。是否可以在 Gcloud Dataflow 上运行 Python 3?

google-cloud-dataflow

5
推荐指数
1
解决办法
1631
查看次数

使用 TextIO 和 ValueProvider 创建数据流模板时出错

我正在尝试创建一个谷歌数据流模板,但我似乎找不到一种方法来做到这一点而不产生以下异常:

WARNING: Size estimation of the source failed: RuntimeValueProvider{propertyName=inputFile, default=null}
java.lang.IllegalStateException: Value only available at runtime, but accessed from a non-runtime context: RuntimeValueProvider{propertyName=inputFile, default=null}
        at org.apache.beam.sdk.options.ValueProvider$RuntimeValueProvider.get(ValueProvider.java:234)
        at org.apache.beam.sdk.io.FileBasedSource.getEstimatedSizeBytes(FileBasedSource.java:218)
        at org.apache.beam.runners.dataflow.internal.CustomSources.serializeToCloudSource(CustomSources.java:78)
        at org.apache.beam.runners.dataflow.ReadTranslator.translateReadHelper(ReadTranslator.java:53)
        at org.apache.beam.runners.dataflow.ReadTranslator.translate(ReadTranslator.java:40)
        at org.apache.beam.runners.dataflow.ReadTranslator.translate(ReadTranslator.java:37)
        at org.apache.beam.runners.dataflow.DataflowPipelineTranslator$Translator.visitPrimitiveTransform(DataflowPipelineTranslator.java:453)
        at org.apache.beam.sdk.runners.TransformHierarchy$Node.visit(TransformHierarchy.java:668)
        at org.apache.beam.sdk.runners.TransformHierarchy$Node.visit(TransformHierarchy.java:660)
        at org.apache.beam.sdk.runners.TransformHierarchy$Node.visit(TransformHierarchy.java:660)
        at org.apache.beam.sdk.runners.TransformHierarchy$Node.access$600(TransformHierarchy.java:311)
        at org.apache.beam.sdk.runners.TransformHierarchy.visit(TransformHierarchy.java:245)
        at org.apache.beam.sdk.Pipeline.traverseTopologically(Pipeline.java:458)
        at org.apache.beam.runners.dataflow.DataflowPipelineTranslator$Translator.translate(DataflowPipelineTranslator.java:392)
        at org.apache.beam.runners.dataflow.DataflowPipelineTranslator.translate(DataflowPipelineTranslator.java:170)
        at org.apache.beam.runners.dataflow.DataflowRunner.run(DataflowRunner.java:680)
        at org.apache.beam.runners.dataflow.DataflowRunner.run(DataflowRunner.java:174)
        at org.apache.beam.sdk.Pipeline.run(Pipeline.java:311)
        at org.apache.beam.sdk.Pipeline.run(Pipeline.java:297)
        at org.apache.beam.examples.MyMinimalWordCount.main(MyMinimalWordCount.java:69)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.codehaus.mojo.exec.ExecJavaMojo$1.run(ExecJavaMojo.java:282)
        at java.lang.Thread.run(Thread.java:748)
Run Code Online (Sandbox Code Playgroud)

我可以使用 Beam 的 …

java google-cloud-dataflow apache-beam apache-beam-io

5
推荐指数
1
解决办法
5018
查看次数

在 Apache Beam 中读取 CSV 文件时跳过标头

我想跳过 CSV 文件中的标题行。截至目前,我正在手动删除标头,然后将其加载到谷歌存储。

下面是我的代码:

PCollection<String> financeobj =p.apply(TextIO.read().from("gs://storage_path/Financials.csv"));        
    PCollection<ClassFinance> pojos5 = financeobj.apply(ParDo.of(new DoFn<String, ClassFinance>() { // converting String into classtype

        private static final long serialVersionUID = 1L;
        @ProcessElement
        public void processElement(ProcessContext c) {
            String[] strArr = c.element().split(",");
            ClassFinance fin = new ClassFinance();
            fin.setBeneficiaryFinance(strArr[0]);
            fin.setCatlibCode(strArr[1]);
            fin.set_rNR_(Double.valueOf(strArr[2]));
            fin.set_rNCS_(Double.valueOf(strArr[3]));
            fin.set_rCtb_(Double.valueOf(strArr[4]));
            fin.set_rAC_(Double.valueOf(strArr[5]));
            c.output(fin);
        }
    }));
Run Code Online (Sandbox Code Playgroud)

我已经检查了 stackoverflow 中的现有问题,但我认为它没有希望:Skipping header rows - is it possible with Cloud DataFlow?

有什么帮助吗?

编辑:我尝试过类似下面的方法并且它有效:

PCollection<String> financeobj = p.apply(TextIO.read().from("gs://google-bucket/final_input/Financials123.csv"));       

    PCollection<ClassFinance> pojos5 = financeobj.apply(ParDo.of(new DoFn<String, ClassFinance>() { // converting String …
Run Code Online (Sandbox Code Playgroud)

java google-cloud-platform google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
8531
查看次数

使用 Python SDK 连接多个流

我想在一个公共键上加入多个流,并在所有流贡献了至少一个元素后或在窗口末尾立即触发结果。CoGroupByKey 似乎是合适的构建块,但似乎没有办法表达早期触发条件(计数触发器适用于每个输入集合)?

google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
522
查看次数

数据流作业似乎被卡住,因为在过去 1 小时内没有看到工作线程活动

我的数据流批处理作业不会在 5 小时内结束。仍在取消。

我每 10 分钟在调度程序中运行一次此类作业。

一般情况下,10分钟内完成。

但花了5个多小时!

我的工作是

2018-08-26_13_30_17-1172470278423820020

错误日志在这里

Stackdriver
2018-08-27 (06:33:14) Workflow failed. Causes: The Dataflow job appears to be stuck because no worker activity has been se... 2018-08-27 (08:34:08) Workflow failed. Causes: The Dataflow job appears to be stuck because no worker activity has been se... 2018-08-27 (10:34:58) Workflow failed. Causes: The Dataflow job appears to be stuck because no worker activity has been se... Workflow failed. Causes: The Dataflow job appears to be stuck because …

google-cloud-dataflow

5
推荐指数
1
解决办法
5050
查看次数

Cloud Dataflow 流处理作业能否扩展到零?

我正在使用 Cloud Dataflow 流式传输管道将从 Pub/Sub 接收的事件插入到 BigQuery 数据集中。我需要一些来保持每项工作简单且易于维护。

我担心的是全球成本。数据量不是很大。在一天中的某些时段,没有任何数据(发布/订阅上有任何消息)。

我希望数据流扩展到 0 个工作线程,直到收到新消息。但好像最低工人数是1。

因此,每天每项作业的最低价格为:24 个 vCPU 小时...因此每个作业每月至少 50 美元。(按月使用无折扣)

我计划每天通过 api 运行和耗尽我的工作几次,以避免 1 个全职工人。但这对于像 DataFlow 这样的托管服务来说似乎不是正确的形式。

有什么我错过的吗?

google-cloud-platform google-cloud-dataflow

5
推荐指数
1
解决办法
1779
查看次数

无论如何,我可以将抢占式实例用于数据流作业吗?

很明显,抢占式实例比非抢占式实例便宜。每天有 400-500 个数据流作业在我的组织项目中运行。其中一些工作是时间敏感的,而另一些则不是。那么有没有什么办法可以将抢占式实例用于非时间约束作业,这将降低整体管道执行的成本。目前我正在运行具有以下指定配置的数据流作业。

        options.setTempLocation("gs://temp/");
        options.setRunner(DataflowRunner.class);
        options.setTemplateLocation("gs://temp-location/");
        options.setWorkerMachineType("n1-standard-4");
        options.setMaxNumWorkers(20);
        options.setWorkerCacheMb(2000);
Run Code Online (Sandbox Code Playgroud)

我无法找到具有抢占式实例设置的任何管道选项。

google-compute-engine google-cloud-platform google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
587
查看次数

如何编写支持架构演化的流式数据流管道?

我正在构建一些从 Kafka 读取并使用 Google Cloud Dataflow 写入各种接收器的数据流管道。管道看起来像这样(简化)。

// Example pipeline that writes to BigQuery.
Pipeline.create(options)
    .apply(KafkaIO.read().withTopic(options.topic))
    .apply(/* Convert to a Row type */)
    .setRowSchema(schemaRegistry.lookup(options.topic))
    .apply(
        BigQueryIO.write<Row>()
            .useBeamSchema()
            .withCreateDisposition(CreateDispotion.CREATE_IF_NEEDED)
            .withProject(options.outputProject)
            .withDataset(options.outputDataset)
            .withTable(options.outputTable)
    )
Run Code Online (Sandbox Code Playgroud)

我计划为我们的每个 Kafka 主题运行一个管道,其中有数百个。管道在规划阶段查找给定主题的模式。这允许BigQueryIO在启动管道之前创建必要的表。

问题:如何在我的 Dataflow 管道中支持不断发展的架构?

我探索了更新现有 Dataflow 作业的选项(使用--update标志)。我的想法是,每当架构发生变化时,我都可以自动执行提交更新作业的过程。但是更新作业似乎会导致大约 3 分钟的停机时间。对于某些工作,那么长时间的停机是行不通的。我正在寻找希望停机时间不超过几秒钟的其他解决方案。

kotlin google-cloud-platform google-cloud-dataflow apache-beam

5
推荐指数
0
解决办法
340
查看次数