标签: google-cloud-dataflow

如何在google-cloud-dataflow中使用文件模式匹配时获取文件名

在google-cloud-dataflow中使用文件模式匹配时,有人知道如何获取文件名吗?

我是新手使用数据流.以这种方式使用文件模式匹配时如何获取文件名.

p.apply(TextIO.Read.from("gs://dataflow-samples/shakespeare/*.txt"))
Run Code Online (Sandbox Code Playgroud)

我想如何检测kinglear.txt,Hamlet.txt等文件名.

google-cloud-dataflow

5
推荐指数
1
解决办法
2402
查看次数

在Google数据流工作人员上暂存文件

Dataflow SDK中是否有允许我在工作器上暂存资源文件的内容?我有特定的静态文件资源,我需要在文件系统上为执行NLP的自定义DoFn提供这些资源.我的目标是从类加载器获取zip文件资源,并在工作程序初始化时将其解压缩到工作文件系统上,而不是尝试在自定义DoFn中执行此操作.

google-cloud-platform google-cloud-dataflow

5
推荐指数
1
解决办法
1261
查看次数

Dataflow GZIP TextIO ZipException:长度或距离符号太多

使用带有大量压缩文本文件(1000多个文件,大小在100MB和1.5GB之间)的TextIO.Read转换,我们有时会收到以下错误:

java.util.zip.ZipException: too many length or distance symbols at
java.util.zip.InflaterInputStream.read(InflaterInputStream.java:164) at
java.util.zip.GZIPInputStream.read(GZIPInputStream.java:117) at
java.io.BufferedInputStream.fill(BufferedInputStream.java:246) at
java.io.BufferedInputStream.read1(BufferedInputStream.java:286) at
java.io.BufferedInputStream.read(BufferedInputStream.java:345) at
java.io.FilterInputStream.read(FilterInputStream.java:133) at
java.io.PushbackInputStream.read(PushbackInputStream.java:186) at 
com.google.cloud.dataflow.sdk.runners.worker.TextReader$ScanState.readBytes(TextReader.java:261) at 
com.google.cloud.dataflow.sdk.runners.worker.TextReader$TextFileIterator.readElement(TextReader.java:189) at 
com.google.cloud.dataflow.sdk.runners.worker.FileBasedReader$FileBasedIterator.computeNextElement(FileBasedReader.java:265) at 
com.google.cloud.dataflow.sdk.runners.worker.FileBasedReader$FileBasedIterator.hasNext(FileBasedReader.java:165) at 
com.google.cloud.dataflow.sdk.util.common.worker.ReadOperation.runReadLoop(ReadOperation.java:169) at 
com.google.cloud.dataflow.sdk.util.common.worker.ReadOperation.start(ReadOperation.java:118) at 
com.google.cloud.dataflow.sdk.util.common.worker.MapTaskExecutor.execute(MapTaskExecutor.java:66) at 
com.google.cloud.dataflow.sdk.runners.worker.DataflowWorker.executeWork(DataflowWorker.java:204) at 
com.google.cloud.dataflow.sdk.runners.worker.DataflowWorker.doWork(DataflowWorker.java:151) at 
com.google.cloud.dataflow.sdk.runners.worker.DataflowWorker.getAndPerformWork(DataflowWorker.java:118) at 
com.google.cloud.dataflow.sdk.runners.worker.DataflowWorkerHarness$WorkerThread.call(DataflowWorkerHarness.java:139) at 
com.google.cloud.dataflow.sdk.runners.worker.DataflowWorkerHarness$WorkerThread.call(DataflowWorkerHarness.java:124) at
java.util.concurrent.FutureTask.run(FutureTask.java:266) at
java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at
java.lang.Thread.run(Thread.java:745)
Run Code Online (Sandbox Code Playgroud)

在线搜索相同的ZipException,只会导致此回复:

当热部署程序在将应用程序完全复制到deploy目录之前尝试部署应用程序时,通常会发生Zip文件错误.如果复制文件需要几秒钟,这是相当常见的.解决方案是将文件复制到与应用程序服务器相同的磁盘分区上的临时目录,然后将该文件移动到deploy目录.

有没有其他人遇到类似的例外?或者无论如何我们可以解决这个问题?

java gzipinputstream google-cloud-dataflow

5
推荐指数
1
解决办法
5024
查看次数

读取PubsubIO写入DatastoreIO

是否可以创建从Pub/Sub读取数据并写入数据存储区的管道?在我的代码中,我将PubsubIO指定为输入,并应用窗口来获取有界PCollection,但似乎无法使用带有options.setStreaming的DatastoreIO.writeTo为true,而这是必需的以便使用PubsubIO作为输入.有没有解决的办法?或者是不可能从pubsub读取并写入数据存储区?

这是我的代码:

DataflowPipelineOptions options = PipelineOptionsFactory.create()
            .as(DataflowPipelineOptions.class);

    options.setRunner(DataflowPipelineRunner.class);
    options.setProject(projectName);
    options.setStagingLocation("gs://my-staging-bucket/staging");
    options.setStreaming(true);

    Pipeline p = Pipeline.create(options);

    PCollection<String> input = p.apply(PubsubIO.Read.topic("projects/"+projectName+"/topics/event-streaming"));
    PCollection<String> inputWindow = input.apply(Window.<String>into(FixedWindows.of(Duration.standardSeconds(5))).triggering(AfterPane.elementCountAtLeast(1)).discardingFiredPanes().withAllowedLateness(Duration.standardHours(1)));
    PCollection<String> inputDecode = inputWindow.apply(ParDo.of(new DoFn<String, String>() {
        private static final long serialVersionUID = 1L;
        public void processElement(ProcessContext c) {
            String msg = c.element();
            byte[] decoded = Base64.decodeBase64(msg.getBytes());
            String outmsg = new String(decoded);
            c.output(outmsg);
        }
    }));
    PCollection<DatastoreV1.Entity> inputEntity = inputDecode.apply(ParDo.of(new CreateEntityFn("stream", "events")));

    inputEntity.apply(DatastoreIO.writeTo(datasetid));


    p.run();
Run Code Online (Sandbox Code Playgroud)

这是我得到的例外:

Exception in thread "main" java.lang.UnsupportedOperationException: The Write transform is not supported by the …
Run Code Online (Sandbox Code Playgroud)

google-cloud-datastore google-cloud-pubsub google-cloud-dataflow

5
推荐指数
2
解决办法
1355
查看次数

当使用CalendarWindows的CoGroupByKey时,Flatten的输入具有不兼容的窗口窗口

TL; DR:

如何使用CalendarWindows设置相同的窗口策略CoGroupByKey一组PCollections?

长版

我正在编写一个从两个不同的pub/subs读取的数据流管道,其中一个PCollections被拆分为PCollectionTuple,最后我尝试将它们连接到CoGroupByKey,然后将其保存在BigQuery中.

在测试管道期间,我的PCollections的窗口策略是:

private static PCollection<KV<String, Long>> applyWindowsAndCount(final PCollection<KV<String, Long>> summary, final String OperationName){
    return summary
            .apply("Apply Windows " + OperationName, Window
                    .<KV<String, Long>>into(FixedWindows.of(Duration.standardMinutes(1))) 
                    .discardingFiredPanes()
                    .withAllowedLateness(Duration.standardDays(1)))
            .apply("Count " + OperationName, Count.perKey());
}
Run Code Online (Sandbox Code Playgroud)

我用1分钟长度的FixedWindow设置它们以便快速获得结果.

我的分组如下:

private static PCollection<KV<String, CoGbkResult>> MergeSummary(PCollection<KV<String, Long>> Avail, PCollection<KV<String, Long>> ValuationOK, PCollection<KV<String, Long>> ValuationKO){
    return KeyedPCollectionTuple.of(Util.AVAIL, Avail)
                                .and(Util.VALUATION_OK, ValuationOK)
                                .and(Util.VALUATION_KO, ValuationKO)
                                .apply("Merge Summary", CoGroupByKey.create());
}
Run Code Online (Sandbox Code Playgroud)

当我在本地和云上进行测试时,它运行顺畅,但是,当我使用实际生产值设置窗口时,CalendarWindows的长度为1天,如下所示:

private static PCollection<KV<String, Long>> applyWindowsAndCount(final PCollection<KV<String, Long>> summary, …
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow

5
推荐指数
1
解决办法
473
查看次数

如何写入Apache Beam中的多个文件?

让我简化一下我的案子.我正在使用Apache Beam 0.6.0.我的最终处理结果是PCollection<KV<String, String>>.我想将值写入与其键对应的不同文件.

例如,假设结果包含

(key1, value1)
(key2, value2)
(key1, value3)
(key1, value4)
Run Code Online (Sandbox Code Playgroud)

然后,我想写value1,value3并value4到key1.txt,并写入value4到key2.txt.

在我的情况下:

  • 密钥集是在管道运行时确定的,而不是在构建管道时确定的.
  • 密钥集可以非常小,但是对应于每个密钥的值的数量可能非常大.

有任何想法吗?

google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
3248
查看次数

Gradle支持GCP数据流模板?

根据Google的Dataflow文档,Dataflow作业模板创建"目前仅限于Java和Maven".但是,至少可以说,GCP的Dataflow站点上的Java文档很麻烦.数据流的1.x和2.x版本在细节方面相当远,我有一些特定的代码要求将我锁定到2.0.0r3代码库,因此我非常需要使用Apache Beam.Apache是​​ - 可以理解的 - 非常专注于Maven,但从制度上来说,我的公司大部分时间都把它放在了Gradle之后,以至于他们去年将所有的Java项目迁移到了它,并且反对重新引入它.

然而,现在我们似乎处于僵局,因为我们有一个特定的目标,试图将我们的后端收集集中在GCP的数据流中,而GCP Dataflow似乎没有对Gradle的正式支持.如果是的话,它不在官方文档中.

是否有足够的技术基础来实际使用Gradle构建Dataflow模板,问题是Google的文档是否尚未更新以支持此功能?有没有技术上的理由为什么Gradle不能用Maven做什么?与Google和Apache网站上的文档相比,使用GCP Dataflow有更好的指南吗?我之前没有使用过Maven原型,而且我为"gradle archetypes"所做的所有搜索都是在一年多前的最佳结果.大多数信息指向2014年和1.7rc3版本的论坛讨论,但我们的目标是3.5.这感觉它应该是一个已解决的问题,但对于我的生活,我无法在网上找到任何关于此的信息.

archetypes gradle maven google-cloud-dataflow

5
推荐指数
2
解决办法
1045
查看次数

GCP Dataflow 2.0 PubSub到GCS

我很难理解TextIO.write()的.withFileNamePolicy的概念.提供FileNamePolicy的要求似乎非常复杂,因为它可以像指定GCS存储桶来编写流式字段一样简单.

在高层次上,我将JSON消息流式传输到PubSub主题,并且我想将这些原始消息写入GCS中的文件以进行永久存储(我还将对消息进行其他处理).我最初开始使用这个Pipeline,认为这很简单:

public static void main(String[] args) {

        PipelineOptions options = PipelineOptionsFactory.fromArgs(args).withValidation().create();

        Pipeline p = Pipeline.create(options); 

        p.apply("Read From PubSub", PubsubIO.readStrings().fromTopic(topic))
            .apply("Write to GCS", TextIO.write().to(gcs_bucket);

        p.run();

    }
Run Code Online (Sandbox Code Playgroud)

我收到了需要WindowedWrites的错误,我申请了,然后需要FileNamePolicy.这是事情变得多毛的地方.

我去了梁文档并检查了FilenamePolicy.看起来我需要扩展这个类,然后还需要扩展其他抽象类来使其工作.不幸的是,关于Apache的文档有点不足,我找不到Dataflow 2.0这样做的任何示例,除了Wordcount示例,它甚至用于在帮助器类中实现这些细节.

所以我可以通过复制WordCount的大部分示例来完成这项工作,但我正在努力更好地理解这个细节.我有几个问题:

1)是否有任何路线图项目可以抽象出很多这种复杂性?看起来我应该像在非WindowsWrite中一样提供GCS存储桶,然后只提供一些基本选项,如时序和文件命名规则.我知道将流窗口数据写入文件比打开文件指针(或对象存储等效)更复杂.

2)看起来要做到这一点,我需要创建一个WindowedContext对象,它需要提供一个BoundedWindow抽象类,PaneInfo对象类,然后是一些分片信息.可用于这些的信息非常简单,我很难知道所有这些实际需要什么,特别是考虑到我的简单用例.有没有很好的例子可以实现这些?另外,看起来我还需要将#scilt作为TextIO.write的一部分设置,但是还要将#shads作为fileNamePolicy的一部分提供?

感谢您帮助我理解这背后的细节,希望学到一些东西!

编辑7/20/17 所以我终于通过扩展FilenamePolicy来运行此管道.我的挑战是需要从Pu​​bSub定义流数据的窗口.这是代码的非常接近的表示:

public class ReadData {
    public static void main(String[] args) {

        PipelineOptions options = PipelineOptionsFactory.fromArgs(args).withValidation().create();

        Pipeline p = Pipeline.create(options);

        p.apply("Read From PubSub", PubsubIO.readStrings().fromTopic(topic))
            .apply(Window.into(FixedWindows.of(Duration.standardMinutes(1))))
            .apply("Write to GCS", TextIO.write().to("gcs_bucket")
                .withWindowedWrites()
                .withFilenamePolicy(new TestPolicy())
                .withNumShards(10));

        p.run();

    }
}

class TestPolicy extends FileBasedSink.FilenamePolicy {
    @Override
    public …
Run Code Online (Sandbox Code Playgroud)

java google-cloud-storage google-cloud-platform google-cloud-dataflow

5
推荐指数
2
解决办法
2355
查看次数

Apache Beam - 无法使用多个输出标记推断DoFn上的编码器

我试图使用Apache Beam执行管道但是在尝试放置一些输出标签时出现错误:

import com.google.cloud.Tuple;
import com.google.gson.Gson;
import com.google.gson.reflect.TypeToken;
import org.apache.beam.sdk.Pipeline;
import org.apache.beam.sdk.io.gcp.pubsub.PubsubIO;
import org.apache.beam.sdk.io.gcp.pubsub.PubsubMessage;
import org.apache.beam.sdk.options.PipelineOptionsFactory;
import org.apache.beam.sdk.transforms.DoFn;
import org.apache.beam.sdk.transforms.ParDo;
import org.apache.beam.sdk.transforms.windowing.FixedWindows;
import org.apache.beam.sdk.transforms.windowing.Window;
import org.apache.beam.sdk.values.TupleTag;
import org.apache.beam.sdk.values.TupleTagList;
import org.joda.time.Duration;

import java.lang.reflect.Type;
import java.util.Map;
import java.util.stream.Collectors;

/**
 * The Transformer.
 */
class Transformer {
    final static TupleTag<Map<String, String>> successfulTransformation = new TupleTag<>();
    final static TupleTag<Tuple<String, String>> failedTransformation = new TupleTag<>();

    /**
     * The entry point of the application.
     *
     * @param args the input arguments
     */
    public static void main(String... …
Run Code Online (Sandbox Code Playgroud)

java-8 google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
2994
查看次数

Apache Beam&Dataflow的数据存储性能不佳

我在数据存储写入速度方面遇到了巨大的性能问题.大多数情况下它保持在100个元素/秒以下.

当使用数据存储客户端(com.google.cloud:google-cloud-datastore)在本地计算机上标记写入速度并且并行运行批量写入时,我能够实现大约2600个元素/秒的速度.

我使用Java API建立了一个简单的Apache Beam管道.这是图表:

全管道

在没有数据存储节点的情况下运行时的速度:

管线没有的数据存储写

这种方式要快得多.这一切都指向DatastoreV1.Write成为这个管道中的瓶颈 - 通过没有写节点的管道速度和DatastoreV1.Write与其他节点的挂起时间相比的挂起时间来判断.


方法我试图解决这个问题:

•增加初始工人的数量(尝试过1和10,没有明显的差异).数据存储在一段时间后(可能在前2个节点完成处理之后)将写入次数减少到1.基于此我怀疑DatastoreIO.v1().write()不会并行运行其worker.为什么呢?

管道日志工人

•确保所有内容都在同一位置运行:GCP项目,数据流管道工作者和元数据,存储 - 所有都设置为us-central.这个建议在这里

•尝试使用不同的实体密钥生成策略(根据本文).目前使用这种方法:Key.Builder keyBuilder = DatastoreHelper.makeKey("someKind", UUID.randomUUID().toString());.我不完全确定这会产生足够均匀分布的密钥,但我猜即使它不是性能也不应该这么低?


请注意,我无法使用提供的Apache Beam和Google库而没有解决方法:由于依赖性问题,我不得不强迫google-api-client版本为1.22.0&Guava为23.0(例如参见https) ://github.com/GoogleCloudPlatform/DataflowJavaSDK/issues/607).

查看DatastoreV1.Write节点日志:

数据存储日志写

它每5周左右就推动500个实体的批量生产,这不是很快.

总的来说,它看起来像DatastoreIO.v1().write()速度很慢,而且它的工作者并没有并行运行.任何想法如何解决这个或可能是什么原因?

java google-cloud-datastore google-cloud-platform google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
1138
查看次数