标签: google-cloud-dataflow

云数据流故障恢复

我想使用 Google Cloud Dataflow 创建会话窗口,如数据流模型论文中所述。我想将未绑定的数据发送到 Pub/Sub,然后以流式传输方式在 Cloud Dataflow 中读取它。我想使用具有较长超时时间(30 分钟到 120 分钟)的会话窗口。

我的问题是:

1)如果数据流过程失败会发生什么?

2)我是否会丢失存储在窗口中尚未超时的所有数据?

3)Dataflow提供哪些恢复机制?

例子:

假设我有一个超时时间为 30 分钟的会话窗口,它会触发每分钟的处理时间并进行累积。假设该值是一个整数,我只是将窗口中的所有值相加。假设这些键值对来自 Pub/Sub:

7 -> 10 (at time 0 seconds)
7 -> 20 (at time 30 seconds)
7 -> 50 (at time 65 seconds)
7 -> 60 (at time 75 seconds)
Run Code Online (Sandbox Code Playgroud)

我想在 60 秒的时候窗口会触发并且会产生一7 -> 30对。我还假设在 120 秒时窗口会再次触发,并且会产生一7 -> 140对,因为它是通过累积触发的。

我的问题是,如果 70 个数据流失败会发生什么?我认为在第 70 秒之前收到的 3 条消息已经被确认到 Pub/Sub,因此它们不会被重新传递。

当Dataflow重新启动时,它是否会以某种方式恢复带有密钥7的窗口的状态,以便在120秒时它可以生成一7 -> 140对,或者它只会生成一7 -> 60 …

google-cloud-dataflow

4
推荐指数
1
解决办法
1826
查看次数

使用 withTemplateCompatibility 的 BigQueryIO 读取性能

Apache Beam 2.1.0 存在从 BigQuery 读取的模板管道的错误,这意味着它们只能执行一次。更多详细信息请参见https://issues.apache.org/jira/browse/BEAM-2058

Beam 2.2.0 的发布已修复此问题,您现在可以使用withTemplateCompatibility选项从 BigQuery 读取数据,您的模板管道现在可以多次运行。

  pipeline
    .apply("Read rows from table."
         , BigQueryIO.readTableRows()
                     .withTemplateCompatibility()
                     .from("<your-table>")
                     .withoutValidation())
Run Code Online (Sandbox Code Playgroud)

这种实现似乎给 BigQueryIO 读取操作带来了巨大的性能成本,我现在的批处理管道在8-11 分钟内运行,现在始终需要45-50 分钟才能完成。两个管道之间的唯一区别是.withTemplateCompatibility()。

我试图了解性能大幅下降的原因以及是否有任何方法可以改进它们。

谢谢。

解决方案:基于jkff的输入。

  pipeline
    .apply("Read rows from table."
         , BigQueryIO.readTableRows()
                     .withTemplateCompatibility()
                     .from("<your-table>")
                     .withoutValidation())
    .apply("Reshuffle",  Reshuffle.viaRandomKey())
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow apache-beam

4
推荐指数
1
解决办法
1757
查看次数

读取 Avro 文件并将其写入 BigQuery 表

我的目标是从云存储中读取 avro 文件数据并使用 Java 将其写入 BigQuery 表。如果有人提供代码片段/想法来读取 avro 格式数据并使用 Cloud Dataflow 将其写入 BigQuery 表,那就太好了。

google-cloud-storage google-bigquery google-cloud-dataflow apache-beam

4
推荐指数
1
解决办法
1903
查看次数

如何通过python读取apache beam(数据流)中的JSON文件?

我正在尝试通过 python 中的 apache beam 读取 JSON 文件,并对其应用一些数据质量规则。目前我正在使用 beam.io.ReadFromText 读取每个 json 行并使用一些函数来修改数据。读取 JSON 数据并修改它们的更好方法是什么?

(p
  | 'Getdata' >> beam.io.ReadFromText(input)
  | 'filter_name' >> beam.FlatMap(lambda line: dq_name(line))
  | 'filter_phone' >> beam.FlatMap(lambda line: dq_phone(line))
  | 'filter_zip' >> beam.FlatMap(lambda line: dq_zip(line))
  | 'filter_address' >> beam.FlatMap(lambda line: dq_city(line))
  | 'filter_website' >> beam.FlatMap(lambda line: dq_website(line))
  | 'write' >> beam.io.WriteToText(output_prefix)  )
Run Code Online (Sandbox Code Playgroud)

注意:我对此还很陌生,如果我当前的方法看起来太粗制滥造,我很抱歉。

python google-cloud-platform google-cloud-dataflow apache-beam

4
推荐指数
1
解决办法
7421
查看次数

数据流无法使用自定义模板解析模板文件

我正在尝试在数据流中运行一个简单的管道

import apache_beam as beam


options = beam.options.pipeline_options.PipelineOptions()

gcloud_options = options.view_as(beam.options.pipeline_options.GoogleCloudOptions)
gcloud_options.job_name = 'dataflow-tutorial1'
gcloud_options.project = 'xxxx'
gcloud_options.staging_location = 'gs://xxxx/staging'
gcloud_options.temp_location = 'gs://xxxx/temp'
gcloud_options.service_account_email = 'dataflow@xxxx.iam.gserviceaccount.com'


worker_options = options.view_as(beam.options.pipeline_options.WorkerOptions)
worker_options.disk_size_gb = 20
worker_options.max_num_workers = 2


options.view_as(beam.options.pipeline_options.StandardOptions).runner = 'DataflowRunner'


p1 = beam.Pipeline(options=options)

(p1 | 'Hello World' >> beam.Create(['Hello World']))

p1.run()
Run Code Online (Sandbox Code Playgroud)

当我从数据流 UI 创建作业并尝试运行它时,我不断收到

Unable to parse template file 'gs://dataflow-sm/pipeline-files/read-write-to-gsc-file.py'.
Run Code Online (Sandbox Code Playgroud)

如果我从终端运行它,我会得到

ERROR: (gcloud.dataflow.jobs.run) FAILED_PRECONDITION: Unable to parse template file 'gs://dataflow-sm/pipeline-files/read-write-to-gsc-file.py'.
- '@type': type.googleapis.com/google.rpc.PreconditionFailure
  violations:
  - description: "Unexpected end of stream : expected …
Run Code Online (Sandbox Code Playgroud)

python google-cloud-dataflow

4
推荐指数
1
解决办法
4018
查看次数

用于 org.json.JSONObject 的 Apache Beam Coder

我正在 Apache Beam 中编写一个数据管道,它从 Pub/Sub 读取数据,将消息反序列化为 JSONObjects 并将它们传递到其他一些管道阶段。问题是,当我尝试提交代码时,出现以下错误:

执行 Java 类时发生异常。无法返回用于转换为 JSON 并混淆 PII 数据/ParMultiDo(JSONifyAndObfuscate).output [PCollection] 的默认编码器。更正以下根本原因之一: [错误] 未手动指定编码器;您可以使用 .setCoder() 来执行此操作。[错误] 从 CoderRegistry 推断编码器失败:无法为 org.json.JSONObject 提供编码器。[错误] 使用注册的 CoderProvider 构建 Coder 失败。[错误] 请参阅抑制的异常以了解详细的失败信息。[错误] 使用生成 PTransform 的默认输出编码器失败:调用了 PTransform.getOutputCoder。

基本上,错误表明 Beam 无法找到 org.json.JSONObject 对象的编码器。我不知道在哪里可以获得这样的编码器或如何构建一个。有任何想法吗?

谢谢!

google-cloud-dataflow apache-beam

4
推荐指数
1
解决办法
2249
查看次数

Google Cloud DataFlow:ModuleNotFoundError:没有名为“main”的模块

我正在尝试在云数据流上运行 apache-beam 管道。原始函数已部署为云函数,该函数应该创建一个读取文本文件并插入大查询的数据流作业。但它无法在 Dataflow 上运行。下面给出了功能和错误。

from apache_beam.options.pipeline_options import PipelineOptions
from apache_beam.options.pipeline_options import GoogleCloudOptions
from apache_beam.options.pipeline_options import StandardOptions
import apache_beam as beam

class Split(beam.DoFn):

    def process(self, element):

        element = element.split(',')

        return [{
            'field_1': element[0],
            'field_2': element[1],
            'field_3': element[2]}]

def main(data, context):

    options = PipelineOptions()

    google_cloud_options = options.view_as(GoogleCloudOptions)
    google_cloud_options.project = my-project
    google_cloud_options.job_name = job_name
    google_cloud_options.staging_location = staging_location
    google_cloud_options.temp_location = temp_location
    google_cloud_options.service_account_email = service_account_email
    options.view_as(StandardOptions).runner = 'DataflowRunner'

    p = beam.Pipeline(options=options)

    with p:
        (
            p
            | 'ReadData' >> beam.io.ReadFromText(gs://source_file_location)
            | 'ParseCSV' >> beam.ParDo(Split())
            | …
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow google-cloud-functions apache-beam

4
推荐指数
1
解决办法
5265
查看次数

从 Spring 控制器执行 Google Cloud Dataflow 管道

我将如何使用 Spring 执行到 Google Cloud Dataflow 的 Apache Beam 管道?这个问题类似于在 Google Data Flow 上的 Spring Boot 项目中运行 Apache Beam 管道,但这个问题更关注从 Spring 控制器而不是从 CommandLineRunner 启动管道。

@RestController
@RequestMapping("/task/import-csv-file")
public class ImportCsvController {
    @PostMapping("/process-csv-file")
    private ResponseEntity<Void> processCsvFile(
            @RequestParam String gcsFileName,
            @RequestParam String bucketName
    ) {
        DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class);

        options.setProject("same-project-as-this-app-engine-instance");
        options.setStagingLocation("gs://" + bucketName + "/binaries");
        options.setRunner(DataflowRunner.class);
        options.setJobname("process-csv");

        Pipeline pipeline = Pipeline.create(options);
        pipeline.apply("ReadFile", TextIO.read().from("gs://" + bucketName + "/" + gcsFileName));
        // ... apply some more transforms here, which will eventually 
        // write …
Run Code Online (Sandbox Code Playgroud)

java google-app-engine spring google-cloud-dataflow apache-beam

4
推荐指数
1
解决办法
1692
查看次数

如何使用 python API 列出所有数据流作业

我的用例涉及获取项目中存在的所有流数据流作业的作业 ID 并取消它。更新我的数据流作业的源并重新运行它。

我正在尝试使用 python 来实现这一点。直到现在我还没有遇到任何有用的文档。我想到使用 python 的库子进程来执行 gcloud 命令作为解决方法。但我再次无法存储结果并使用它。

有人可以指导我什么是最好的方法吗?

python google-cloud-platform google-cloud-dataflow

4
推荐指数
1
解决办法
2753
查看次数

Dataflow Flex 模板作业已排队

我正在尝试重现本教程以在数据流上运行 Flex 模板。

当我提交作业时,我可以在控制台中看到它,但它尚未启动并标记为Queued。这是否意味着作业以FlexRS 模式提交?提交作业后如何直接开始作业?

dataflow google-cloud-platform google-cloud-dataflow

4
推荐指数
1
解决办法
2497
查看次数