我想使用 Google Cloud Dataflow 创建会话窗口,如数据流模型论文中所述。我想将未绑定的数据发送到 Pub/Sub,然后以流式传输方式在 Cloud Dataflow 中读取它。我想使用具有较长超时时间(30 分钟到 120 分钟)的会话窗口。
我的问题是:
1)如果数据流过程失败会发生什么?
2)我是否会丢失存储在窗口中尚未超时的所有数据?
3)Dataflow提供哪些恢复机制?
例子:
假设我有一个超时时间为 30 分钟的会话窗口,它会触发每分钟的处理时间并进行累积。假设该值是一个整数,我只是将窗口中的所有值相加。假设这些键值对来自 Pub/Sub:
7 -> 10 (at time 0 seconds)
7 -> 20 (at time 30 seconds)
7 -> 50 (at time 65 seconds)
7 -> 60 (at time 75 seconds)
Run Code Online (Sandbox Code Playgroud)
我想在 60 秒的时候窗口会触发并且会产生一7 -> 30对。我还假设在 120 秒时窗口会再次触发,并且会产生一7 -> 140对,因为它是通过累积触发的。
我的问题是,如果 70 个数据流失败会发生什么?我认为在第 70 秒之前收到的 3 条消息已经被确认到 Pub/Sub,因此它们不会被重新传递。
当Dataflow重新启动时,它是否会以某种方式恢复带有密钥7的窗口的状态,以便在120秒时它可以生成一7 -> 140对,或者它只会生成一7 -> 60 …
Apache Beam 2.1.0 存在从 BigQuery 读取的模板管道的错误,这意味着它们只能执行一次。更多详细信息请参见https://issues.apache.org/jira/browse/BEAM-2058
Beam 2.2.0 的发布已修复此问题,您现在可以使用withTemplateCompatibility选项从 BigQuery 读取数据,您的模板管道现在可以多次运行。
pipeline
.apply("Read rows from table."
, BigQueryIO.readTableRows()
.withTemplateCompatibility()
.from("<your-table>")
.withoutValidation())
Run Code Online (Sandbox Code Playgroud)
这种实现似乎给 BigQueryIO 读取操作带来了巨大的性能成本,我现在的批处理管道在8-11 分钟内运行,现在始终需要45-50 分钟才能完成。两个管道之间的唯一区别是.withTemplateCompatibility()。
我试图了解性能大幅下降的原因以及是否有任何方法可以改进它们。
谢谢。
解决方案:基于jkff的输入。
pipeline
.apply("Read rows from table."
, BigQueryIO.readTableRows()
.withTemplateCompatibility()
.from("<your-table>")
.withoutValidation())
.apply("Reshuffle", Reshuffle.viaRandomKey())
Run Code Online (Sandbox Code Playgroud) 我的目标是从云存储中读取 avro 文件数据并使用 Java 将其写入 BigQuery 表。如果有人提供代码片段/想法来读取 avro 格式数据并使用 Cloud Dataflow 将其写入 BigQuery 表,那就太好了。
google-cloud-storage google-bigquery google-cloud-dataflow apache-beam
我正在尝试通过 python 中的 apache beam 读取 JSON 文件,并对其应用一些数据质量规则。目前我正在使用 beam.io.ReadFromText 读取每个 json 行并使用一些函数来修改数据。读取 JSON 数据并修改它们的更好方法是什么?
(p
| 'Getdata' >> beam.io.ReadFromText(input)
| 'filter_name' >> beam.FlatMap(lambda line: dq_name(line))
| 'filter_phone' >> beam.FlatMap(lambda line: dq_phone(line))
| 'filter_zip' >> beam.FlatMap(lambda line: dq_zip(line))
| 'filter_address' >> beam.FlatMap(lambda line: dq_city(line))
| 'filter_website' >> beam.FlatMap(lambda line: dq_website(line))
| 'write' >> beam.io.WriteToText(output_prefix) )
Run Code Online (Sandbox Code Playgroud)
注意:我对此还很陌生,如果我当前的方法看起来太粗制滥造,我很抱歉。
python google-cloud-platform google-cloud-dataflow apache-beam
我正在尝试在数据流中运行一个简单的管道
import apache_beam as beam
options = beam.options.pipeline_options.PipelineOptions()
gcloud_options = options.view_as(beam.options.pipeline_options.GoogleCloudOptions)
gcloud_options.job_name = 'dataflow-tutorial1'
gcloud_options.project = 'xxxx'
gcloud_options.staging_location = 'gs://xxxx/staging'
gcloud_options.temp_location = 'gs://xxxx/temp'
gcloud_options.service_account_email = 'dataflow@xxxx.iam.gserviceaccount.com'
worker_options = options.view_as(beam.options.pipeline_options.WorkerOptions)
worker_options.disk_size_gb = 20
worker_options.max_num_workers = 2
options.view_as(beam.options.pipeline_options.StandardOptions).runner = 'DataflowRunner'
p1 = beam.Pipeline(options=options)
(p1 | 'Hello World' >> beam.Create(['Hello World']))
p1.run()
Run Code Online (Sandbox Code Playgroud)
当我从数据流 UI 创建作业并尝试运行它时,我不断收到
Unable to parse template file 'gs://dataflow-sm/pipeline-files/read-write-to-gsc-file.py'.
Run Code Online (Sandbox Code Playgroud)
如果我从终端运行它,我会得到
ERROR: (gcloud.dataflow.jobs.run) FAILED_PRECONDITION: Unable to parse template file 'gs://dataflow-sm/pipeline-files/read-write-to-gsc-file.py'.
- '@type': type.googleapis.com/google.rpc.PreconditionFailure
violations:
- description: "Unexpected end of stream : expected …Run Code Online (Sandbox Code Playgroud) 我正在 Apache Beam 中编写一个数据管道,它从 Pub/Sub 读取数据,将消息反序列化为 JSONObjects 并将它们传递到其他一些管道阶段。问题是,当我尝试提交代码时,出现以下错误:
执行 Java 类时发生异常。无法返回用于转换为 JSON 并混淆 PII 数据/ParMultiDo(JSONifyAndObfuscate).output [PCollection] 的默认编码器。更正以下根本原因之一: [错误] 未手动指定编码器;您可以使用 .setCoder() 来执行此操作。[错误] 从 CoderRegistry 推断编码器失败:无法为 org.json.JSONObject 提供编码器。[错误] 使用注册的 CoderProvider 构建 Coder 失败。[错误] 请参阅抑制的异常以了解详细的失败信息。[错误] 使用生成 PTransform 的默认输出编码器失败:调用了 PTransform.getOutputCoder。
基本上,错误表明 Beam 无法找到 org.json.JSONObject 对象的编码器。我不知道在哪里可以获得这样的编码器或如何构建一个。有任何想法吗?
谢谢!
我正在尝试在云数据流上运行 apache-beam 管道。原始函数已部署为云函数,该函数应该创建一个读取文本文件并插入大查询的数据流作业。但它无法在 Dataflow 上运行。下面给出了功能和错误。
from apache_beam.options.pipeline_options import PipelineOptions
from apache_beam.options.pipeline_options import GoogleCloudOptions
from apache_beam.options.pipeline_options import StandardOptions
import apache_beam as beam
class Split(beam.DoFn):
def process(self, element):
element = element.split(',')
return [{
'field_1': element[0],
'field_2': element[1],
'field_3': element[2]}]
def main(data, context):
options = PipelineOptions()
google_cloud_options = options.view_as(GoogleCloudOptions)
google_cloud_options.project = my-project
google_cloud_options.job_name = job_name
google_cloud_options.staging_location = staging_location
google_cloud_options.temp_location = temp_location
google_cloud_options.service_account_email = service_account_email
options.view_as(StandardOptions).runner = 'DataflowRunner'
p = beam.Pipeline(options=options)
with p:
(
p
| 'ReadData' >> beam.io.ReadFromText(gs://source_file_location)
| 'ParseCSV' >> beam.ParDo(Split())
| …Run Code Online (Sandbox Code Playgroud) 我将如何使用 Spring 执行到 Google Cloud Dataflow 的 Apache Beam 管道?这个问题类似于在 Google Data Flow 上的 Spring Boot 项目中运行 Apache Beam 管道,但这个问题更关注从 Spring 控制器而不是从 CommandLineRunner 启动管道。
@RestController
@RequestMapping("/task/import-csv-file")
public class ImportCsvController {
@PostMapping("/process-csv-file")
private ResponseEntity<Void> processCsvFile(
@RequestParam String gcsFileName,
@RequestParam String bucketName
) {
DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class);
options.setProject("same-project-as-this-app-engine-instance");
options.setStagingLocation("gs://" + bucketName + "/binaries");
options.setRunner(DataflowRunner.class);
options.setJobname("process-csv");
Pipeline pipeline = Pipeline.create(options);
pipeline.apply("ReadFile", TextIO.read().from("gs://" + bucketName + "/" + gcsFileName));
// ... apply some more transforms here, which will eventually
// write …Run Code Online (Sandbox Code Playgroud) java google-app-engine spring google-cloud-dataflow apache-beam
我的用例涉及获取项目中存在的所有流数据流作业的作业 ID 并取消它。更新我的数据流作业的源并重新运行它。
我正在尝试使用 python 来实现这一点。直到现在我还没有遇到任何有用的文档。我想到使用 python 的库子进程来执行 gcloud 命令作为解决方法。但我再次无法存储结果并使用它。
有人可以指导我什么是最好的方法吗?