标签: google-cloud-dataflow

Apache Beam / Google 数据流 - 错误处理

我有一个包含相当多步骤的管道(略高于 15)。每次DoFn失败时我都想报告失败。我开始TupleTags使用以下代码实现它:

try {
 ... do stuff ...
 c.output(successTag, ...);
} catch (Exception e) {
 c.output(failureTag, new Failure(...));
}
Run Code Online (Sandbox Code Playgroud)

但是由于我的管道包含很多步骤,这使得管道定义代码很难阅读/维护。

有没有更全球化的方式来实现它?类似于引发在管道级别全局处理的自定义异常?

java error-handling google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
2421
查看次数

Apache Beam/Google Dataflow PubSub 到 BigQuery Pipeline:处理插入错误和意外重试行为

我已经从Google 的 github 存储库中提取了Pub/Sub 到 BigQuery Dataflow 模板的副本。我使用direct-runner在我的本地机器上运行它。

在测试中,我确认模板仅在 UDF 处理或从 JSON 到 TableRow 转换期间发生错误时才将失败写入“死信”表。

我还希望通过将它们发送到单独的 TupleTag 来更优雅地处理在插入 BigQuery 时发生的故障,以便它们也可以发送到死信表或其他输出进行审查和处理。目前,当使用dataflow-runner执行时,这些错误只会写入 Stackdriver 日志,并会继续无限期地重试,直到问题得到解决。

问题一:在本地测试并发布格式与目标表模式不匹配的消息时,插入被重试 5 次,然后管道崩溃,出现 RuntimeException 以及从 HTTP 响应返回到 Google API 的错误。我相信这种行为是在BigQueryServices.Impl中设置的 :

private static final FluentBackoff INSERT_BACKOFF_FACTORY =
        FluentBackoff.DEFAULT.withInitialBackoff(Duration.millis(200)).withMaxRetries(5);
Run Code Online (Sandbox Code Playgroud)

但是,根据Google 的文档,

“在流模式下运行时,包含失败项目的包将无限期重试,这可能会导致您的管道永久停止。”

作为 Beam 的Pub/Sub.IO,

创建和使用无界 PCollections

我的印象是从 Pub/Sub 读取时应该默认启用流模式。我什至在对 writeTableRows() 的调用中添加了 Streaming_Inserts 方法,但它并没有影响这种行为。

.apply(
            "WriteSuccessfulRecords",      
            BigQueryIO.writeTableRows()
                .withMethod(Method.STREAMING_INSERTS)
Run Code Online (Sandbox Code Playgroud)
  1. 这种行为是否会受到我使用的跑步者的影响?如果不是,我的理解有什么缺陷?

问题二:

  1. 使用BigQueryIO.write和 …

google-bigquery google-cloud-pubsub google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
3014
查看次数

如何将 python 包安装到 Google Dataflow 并将其导入我的管道?

我的文件夹结构如下:

Project/
 --Pipeline.py
 --setup.py
 --dist/
  --ResumeParserDependencies-0.1.tar.gz
 --Dependencies/
        --Module1.py
        --Module2.py
        --Module3.py
Run Code Online (Sandbox Code Playgroud)

我的setup.py文件看起来像这样:

from setuptools import setup, find_packages

setup(name='ResumeParserDependencies',
  version='0.1',
  description='Dependencies',
  install_requires=[
   'google-cloud-storage==1.11.0',
   'requests==2.19.1',
   'urllib3==1.23'
    ],
  packages = ['Dependencies']
 )
Run Code Online (Sandbox Code Playgroud)

我使用 setup.py 文件使用“python setup.py sdist”创建了一个 tar.gz 文件。tar 文件位于 dist 文件夹中,名为 ResumeParserDependencies-0.1.tar.gz。然后我指定

setup_options.extra_packages = ['./dist/ResumeParserDependencies-0.1.tar.gz'] in my pipeline options.
Run Code Online (Sandbox Code Playgroud)

但是,一旦我在 Dataflow 上运行我的管道,我就会收到错误“没有名为 ResumeParserDependencies 的模块”。如果我在本地使用“pip install ResumeParserDependencies-0.1.tar.gz”,则会安装该软件包,并且我可以使用“pip freeze”看到它。


将包加载到 Dataflow 中我缺少什么?

python google-cloud-dataflow

5
推荐指数
1
解决办法
4475
查看次数

将 JVM 参数传递给 Google Cloud Dataflow

我们在谷歌云数据流中运行我们的 Apache Beam 代码,我们需要将一些 JVM 参数传递给我们的程序。我们找到了与执行参数相关的链接,但没有与 JVM 参数相关的链接。如何将 JVM 参数传递给 Google Cloud 数据流?

jvm-arguments google-cloud-platform google-cloud-dataflow

5
推荐指数
0
解决办法
406
查看次数

在 Dataflow 上运行的 Apache Beam 管道无法从 KafkaIO 读取:SSL 握手失败

我正在构建一个 Apache Beam 管道,以从 Kafka 读取作为无界源。

我能够使用直接运行器在本地运行它。

但是,在云上使用 Google Cloud Dataflow 运行器运行时,管道会因附加的异常堆栈跟踪而失败。

似乎最终是Conscrypt Java 库抛出了javax.net.ssl.SSLException: Unable to parse TLS packet header. 我不确定如何解决这个问题。

java.io.IOException: Failed to start reading from source: org.apache.beam.sdk.io.kafka.KafkaUnboundedSource@33b5ff70
        com.google.cloud.dataflow.worker.WorkerCustomSources$UnboundedReaderIterator.start(WorkerCustomSources.java:783)
        com.google.cloud.dataflow.worker.util.common.worker.ReadOperation$SynchronizedReaderIterator.start(ReadOperation.java:360)
        com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.runReadLoop(ReadOperation.java:193)
        com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.start(ReadOperation.java:158)
        com.google.cloud.dataflow.worker.util.common.worker.MapTaskExecutor.execute(MapTaskExecutor.java:75)
        com.google.cloud.dataflow.worker.StreamingDataflowWorker.process(StreamingDataflowWorker.java:1227)
        com.google.cloud.dataflow.worker.StreamingDataflowWorker.access$1000(StreamingDataflowWorker.java:135)
        com.google.cloud.dataflow.worker.StreamingDataflowWorker$6.run(StreamingDataflowWorker.java:966)
        java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        java.lang.Thread.run(Thread.java:745)
Caused by: java.io.IOException: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.SslAuthenticationException: SSL handshake failed
        org.apache.beam.sdk.io.kafka.KafkaUnboundedReader.start(KafkaUnboundedReader.java:126)
        com.google.cloud.dataflow.worker.WorkerCustomSources$UnboundedReaderIterator.start(WorkerCustomSources.java:778)
        com.google.cloud.dataflow.worker.util.common.worker.ReadOperation$SynchronizedReaderIterator.start(ReadOperation.java:360)
        com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.runReadLoop(ReadOperation.java:193)
        com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.start(ReadOperation.java:158)
        com.google.cloud.dataflow.worker.util.common.worker.MapTaskExecutor.execute(MapTaskExecutor.java:75)
        com.google.cloud.dataflow.worker.StreamingDataflowWorker.process(StreamingDataflowWorker.java:1227)
        com.google.cloud.dataflow.worker.StreamingDataflowWorker.access$1000(StreamingDataflowWorker.java:135)
        com.google.cloud.dataflow.worker.StreamingDataflowWorker$6.run(StreamingDataflowWorker.java:966)
        java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        java.lang.Thread.run(Thread.java:745)
Caused by: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.SslAuthenticationException: SSL handshake failed
        java.util.concurrent.FutureTask.report(FutureTask.java:122)
        java.util.concurrent.FutureTask.get(FutureTask.java:206)
        org.apache.beam.sdk.io.kafka.KafkaUnboundedReader.start(KafkaUnboundedReader.java:112)
        com.google.cloud.dataflow.worker.WorkerCustomSources$UnboundedReaderIterator.start(WorkerCustomSources.java:778)
        com.google.cloud.dataflow.worker.util.common.worker.ReadOperation$SynchronizedReaderIterator.start(ReadOperation.java:360)
        com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.runReadLoop(ReadOperation.java:193)
        com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.start(ReadOperation.java:158)
        com.google.cloud.dataflow.worker.util.common.worker.MapTaskExecutor.execute(MapTaskExecutor.java:75) …
Run Code Online (Sandbox Code Playgroud)

ssl dataflow apache-kafka google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
1667
查看次数

谷歌数据流“找不到方案 gs 的文件系统”

我正在尝试执行 Google Dataflow 应用程序,但它抛出此异常

java.lang.IllegalArgumentException: No filesystem found for scheme gs
    at org.apache.beam.sdk.io.FileSystems.getFileSystemInternal(FileSystems.java:459)
    at org.apache.beam.sdk.io.FileSystems.matchNewResource(FileSystems.java:529)
    at org.apache.beam.sdk.io.FileBasedSink.convertToFileResourceIfPossible(FileBasedSink.java:213)
    at org.apache.beam.sdk.io.TextIO$TypedWrite.to(TextIO.java:700)
    at org.apache.beam.sdk.io.TextIO$Write.to(TextIO.java:1028)
    at br.com.sulamerica.mecsas.ExportacaoDadosPipeline.main(ExportacaoDadosPipeline.java:52)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.codehaus.mojo.exec.ExecJavaMojo$1.run(ExecJavaMojo.java:282)
    at java.lang.Thread.run(Thread.java:748)
Run Code Online (Sandbox Code Playgroud)

这是我的流水线代码的一部分

Pipeline.create()
        .apply(PubsubIO.readStrings().fromSubscription(subscription))
        .apply(new KeyExportacaoDadosToEntityTransform())
        .apply(new ListKeyEmpresaSelecionadasTransform())
        .apply(ParDo.of(new DoFn<List<Entity>, String>() {
            @ProcessElement
            public void processElement(ProcessContext c){
                c.output(
                    c.element().stream()
                        .map(e-> e.getString("dscRazaoSocial"))
                        .collect(Collectors.joining("\r\n"))
                );
            }
        }))
        .apply(TextIO.write().to("gs://<my bucket>"))
        .getPipeline()
    .run();
Run Code Online (Sandbox Code Playgroud)

这是用于执行我的管道的命令

mvn -Pdataflow-runner compile exec:java \
  -Dexec.mainClass=br.com.xpto.foo.ExportacaoDadosPipeline \
  -Dexec.args="--project=<projectID>\
  --stagingLocation=gs://dataflow-xpto/exportacao/staging \
  --output=gs://dataflow-xpto/exportacao/output \
  --runner=DataflowRunner"  
Run Code Online (Sandbox Code Playgroud)

java exception google-cloud-storage google-cloud-platform google-cloud-dataflow

5
推荐指数
1
解决办法
1871
查看次数

为什么我需要调整我的 PCollection 以使其在 Cloud Dataflow 上自动缩放?

语境

我正在使用如下所示的过程从 Beam 中的 Google Storage 读取文件:

data = pipeline | beam.Create(['gs://my/file.pkl']) | beam.ParDo(LoadFileDoFn)
Run Code Online (Sandbox Code Playgroud)

WhereLoadFileDoFn加载文件并从中创建对象的 Python 列表,ParDo然后以PCollection.

我知道我可能会实现一个自定义源来实现类似的功能,但是这个答案和 Beam自己的文档表明这种使用伪数据集读取的ParDo方法并不少见,并且自定义源可能有点矫枉过正。

它也有效 - 我得到了PCollection正确数量的元素,我可以随心所欲地处理它!然而..

自动缩放问题

结果PCollection在 Cloud Dataflow 上根本不会自动缩放。我首先必须通过以下方式对其进行转换:

shuffled_data = data | beam.Shuffle()
Run Code Online (Sandbox Code Playgroud)

我知道我也在上面链接的这个答案几乎解释了这个过程 - 但它没有提供任何关于为什么这是必要的见解。就我在 Beam 非常高的抽象级别所看到的而言,我PCollection在洗牌之前有 N 个元素,在洗牌PCollection之后有一个类似的元素。为什么一个可以缩放,而另一个不缩放?

在这种情况下,文档不是很有帮助(或者一般来说,但这是另一回事)。第一个PCollection有什么隐藏属性可以防止它被分发给另一个没有的多个工作人员?

python google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
1358
查看次数

无论如何,我可以将抢占式实例用于数据流作业吗?

很明显,抢占式实例比非抢占式实例便宜。每天有 400-500 个数据流作业在我的组织项目中运行。其中一些工作是时间敏感的,而另一些则不是。那么有没有什么办法可以将抢占式实例用于非时间约束作业,这将降低整体管道执行的成本。目前我正在运行具有以下指定配置的数据流作业。

        options.setTempLocation("gs://temp/");
        options.setRunner(DataflowRunner.class);
        options.setTemplateLocation("gs://temp-location/");
        options.setWorkerMachineType("n1-standard-4");
        options.setMaxNumWorkers(20);
        options.setWorkerCacheMb(2000);
Run Code Online (Sandbox Code Playgroud)

我无法找到具有抢占式实例设置的任何管道选项。

google-compute-engine google-cloud-platform google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
587
查看次数

在美国位置未找到数据集

我正在对一小组数据测试一些管道,然后在一次测试运行期间我的管道突然崩溃并显示以下消息: Not found: Dataset thijs-dev:nlthijs_ba was not found in location US

  • 我从未运行、部署或使用过任何美国资源。
  • 区域、区域和部署均基于欧盟。
  • 管道部署到欧盟,它显示在在欧盟运行的 UI 中。
  • 当我检查日志时,我看到 resouce.labels.region 'europe-west4'。
  • 我使用相同的部署脚本运行 40 多个管道,从未使用任何美国设置。
  • BQ 中所有表的所有数据位置都在 EU。
  • 使用 DirectRunner 时,日志显示: INFO:root:Using location 'EU' from table
  • 我在查询中使用没有项目名称的表引用,因为我们在不同的项目中有测试/验收等。这工作正常。当我添加项目时,错误仍然存​​在。

我的运行脚本
python pippeline/main.py --project thijs-dev --region europe-west4 --runner DataflowRunner --temp_location gs://thijs/dataflow/tmp --staging_location gs://thijs/dataflow/staging --job_name thijspipe --save_main_session --setup_file pipeline/setup.py --autoscaling_algorithm=THROUGHPUT_BASED --max_num_workers=7

我失败的一步
thijs = (p | 'ReadTable thijs' >> beam.io.Read(beam.io.BigQuerySource(query=queries.load_code_table(), use_standard_sql=True)))

示例我的查询是什么样的

   #standardSQL
   select
     original.c1,
     original.c2,
     original.c3
   from `thijs.tablename` original
     inner join (
       select c1, max(c2) as …
Run Code Online (Sandbox Code Playgroud)

python google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
2065
查看次数

如何编写支持架构演化的流式数据流管道?

我正在构建一些从 Kafka 读取并使用 Google Cloud Dataflow 写入各种接收器的数据流管道。管道看起来像这样(简化)。

// Example pipeline that writes to BigQuery.
Pipeline.create(options)
    .apply(KafkaIO.read().withTopic(options.topic))
    .apply(/* Convert to a Row type */)
    .setRowSchema(schemaRegistry.lookup(options.topic))
    .apply(
        BigQueryIO.write<Row>()
            .useBeamSchema()
            .withCreateDisposition(CreateDispotion.CREATE_IF_NEEDED)
            .withProject(options.outputProject)
            .withDataset(options.outputDataset)
            .withTable(options.outputTable)
    )
Run Code Online (Sandbox Code Playgroud)

我计划为我们的每个 Kafka 主题运行一个管道,其中有数百个。管道在规划阶段查找给定主题的模式。这允许BigQueryIO在启动管道之前创建必要的表。

问题:如何在我的 Dataflow 管道中支持不断发展的架构?

我探索了更新现有 Dataflow 作业的选项(使用--update标志)。我的想法是,每当架构发生变化时,我都可以自动执行提交更新作业的过程。但是更新作业似乎会导致大约 3 分钟的停机时间。对于某些工作,那么长时间的停机是行不通的。我正在寻找希望停机时间不超过几秒钟的其他解决方案。

kotlin google-cloud-platform google-cloud-dataflow apache-beam

5
推荐指数
0
解决办法
340
查看次数