标签: google-cloud-dataflow

Dataflow 中的 BigQuery 行 - “getF()”返回 null

我们有一个从 BigQuery 表读取的管道。调用getF()TableRow 上的方法应该List<TableCell>为该行返回 a 。但它返回null。

为什么getF()返回null?

@Override
public void processElement(ProcessContext c) throws Exception {
   TableRow aRow = context.element();
   List<TableCell> tableCells = aRow.getF(); //This returns null! 
}
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow

5
推荐指数
1
解决办法
459
查看次数

谷歌数据流挂起,没有日志

当我使用 *DataflowPipelineRunner 从 Dataflow 文档中运行示例 WordCount 作业时,它会启动工作程序,然后只是挂起状态为 Running。

最后两条状态消息:

Jan 29, 2016, 22:05:50
S02: (b959a12901787f4d): Executing operation ReadLines+WordCount.CountWords/ParDo(ExtractWords)+WordCount.CountWords/Count.PerElement/Init+WordCount.CountWords/Count.PerElement/Count.PerKey/GroupByKey+WordCount.CountWords/Count.PerElement/Count.PerKey/Combine.GroupedValues/Partial+WordCount.CountWords/Count.PerElement/Count.PerKey/GroupByKey/Reify+WordCount.CountWords/Count.PerElement/Count.PerKey/GroupByKey/Write

Jan 29, 2016, 22:06:42
(c3fc1276c0229a41): Workers have started successfully.
Run Code Online (Sandbox Code Playgroud)

就是这样。当我单击“工作日志”时,它完全是空的。保持这种状态至少 20 分钟。

它适用于 DirectPipelineRunner(在几秒钟内完成并在我的 gs://... 上创建输出文件)。

我应该看什么?

命令行参数:

--project=my-project
--stagingLocation=gs://my-project/dataflow/staging
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow

5
推荐指数
1
解决办法
1221
查看次数

Google Dataflow 延迟数据

我一直在阅读 Dataflow SDK 文档,试图找出当数据到达流作业中的水印时会发生什么。

这一页:

https://cloud.google.com/dataflow/model/windowing

表示如果使用默认的 window/trigger 策略,则后期数据将被丢弃:

注意:Dataflow 的默认窗口和触发策略会丢弃延迟数据。如果您想确保您的管道处理延迟数据的实例,则需要在设置 PCollection 的窗口策略并相应地为 PCollection 设置触发器时显式设置 .withAllowedLateness。

然而这个页面:

https://cloud.google.com/dataflow/model/triggers

表示延迟数据在延迟到达时将作为单个元素 PCollection 发出:

PCollection 的默认触发器是基于事件时间的,并在系统的水印(Dataflow 的“应该”拥有所有数据的时间)通过窗口末尾时发出窗口的结果。默认触发器在重复的基础上发出,这意味着根据定义,任何迟到的数据都将在水印之后到达并触发触发器,从而导致迟到的元素在它们到达时被发出。

那么,超过水印的后期数据会被完全丢弃吗?或者,如果它及时到达,它会不会与其他数据一起发出,而是自己发出?

google-cloud-dataflow

5
推荐指数
1
解决办法
1503
查看次数

在 python Apache Beam 中打开一个 gzip 文件

目前是否可以使用 Apache Beam 从 python 中的 gzip 文件中读取?我的管道正在使用以下代码行从 gcs 中提取 gzip 文件:

beam.io.Read(beam.io.TextFileSource('gs://bucket/file.gz', compression_type='GZIP')) 
Run Code Online (Sandbox Code Playgroud)

但我收到此错误:

UnicodeDecodeError: 'utf8' codec can't decode byte 0x8b in position 1: invalid start byte
Run Code Online (Sandbox Code Playgroud)

我们在 python beam 源代码中注意到,在写入接收器时似乎处理了压缩文件。 https://github.com/apache/incubator-beam/blob/python-sdk/sdks/python/apache_beam/io/fileio.py#L445

更详细的追溯:

Traceback (most recent call last):
  File "beam-playground.py", line 11, in <module>
    p.run() 
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/pipeline.py", line 159, in run
    return self.runner.run(self)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/runners/direct_runner.py", line 103, in run
    super(DirectPipelineRunner, self).run(pipeline)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/runners/runner.py", line 98, in run
    pipeline.visit(RunVisitor(self))
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/pipeline.py", line 182, in visit
    self._root_transform().visit(visitor, self, visited)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/pipeline.py", …
Run Code Online (Sandbox Code Playgroud)

python dataflow google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
3360
查看次数

在com.google.api.client.googleapis.json.GoogleJsonResponseException上,如何从Cloud Dataflow作业恢复失败:410消失

我的Cloud Dataflow作业运行了4个小时后,神秘地失败了,因为一个工作人员四次(在一小时的时间内)抛出了该异常。异常堆栈如下所示。

java.io.IOException: com.google.api.client.googleapis.json.GoogleJsonResponseException: 410 Gone { "code" : 500, "errors" : [ { "domain" : "global", "message" : "Backend Error", "reason" : "backendError" } ], "message" : "Backend Error" }

at com.google.cloud.hadoop.util.AbstractGoogleAsyncWriteChannel.waitForCompletionAndThrowIfUploadFailed(AbstractGoogleAsyncWriteChannel.java:431)
at com.google.cloud.hadoop.util.AbstractGoogleAsyncWriteChannel.close(AbstractGoogleAsyncWriteChannel.java:289)
at com.google.cloud.dataflow.sdk.io.FileBasedSink$FileBasedWriter.close(FileBasedSink.java:516)
at com.google.cloud.dataflow.sdk.io.FileBasedSink$FileBasedWriter.close(FileBasedSink.java:419)
at com.google.cloud.dataflow.sdk.io.Write$Bound$2.finishBundle(Write.java:201) Caused by: com.google.api.client.googleapis.json.GoogleJsonResponseException: 410 Gone { "code" : 500, "errors" : [ { "domain" : "global", "message" : "Backend Error", "reason" : "backendError" } ], "message" : "Backend Error" }
at com.google.api.client.googleapis.json.GoogleJsonResponseException.from(GoogleJsonResponseException.java:146)
at com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:113)
at com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:40)
at com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed(AbstractGoogleClientRequest.java:432)
at …
Run Code Online (Sandbox Code Playgroud)

google-cloud-platform google-cloud-dataflow

5
推荐指数
1
解决办法
941
查看次数

从Pub/Sub流式传输到BigQuery

我正在尝试使用python数据流将谷歌PubSub中的一些数据流式传输到BigQuery.出于测试目的,我通过设置将以下代码https://github.com/GoogleCloudPlatform/DataflowSDK-examples/blob/master/python/dataflow_examples/cookbook/bigquery_schema.py改编为流式传输管道

options.view_as(StandardOptions).streaming = True
Run Code Online (Sandbox Code Playgroud)

然后我将record_ids管道更改为从Pub/Sub读取

# ADDED THIS
lines = p | 'Read PubSub' >> beam.io.ReadStringsFromPubSub(INPUT_TOPIC) | beam.WindowInto(window.FixedWindows(15))
# CHANGED THIS # record_ids = p | 'CreateIDs' >> beam.Create(['1', '2', '3', '4', '5'])
record_ids = lines | 'Split' >> (beam.FlatMap(split_fn).with_output_types(unicode))
records = record_ids | 'CreateRecords' >> beam.Map(create_random_record)
records | 'Write' >> beam.io.Write(
    beam.io.BigQuerySink(
        OUTPUT,
        schema=table_schema,
        create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
        write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE))
Run Code Online (Sandbox Code Playgroud)

注意:我已被谷歌列入白名单以运行代码(在alpha中)

现在,当我尝试它时,我有一个错误

工作流程失败.原因:(f215df7c8fcdbb00):未知的流式接收器:bigquery

你可以在这里找到完整的代码:https://github.com/marcorigodanzo/gcp_streaming_test/blob/master/my_bigquery_schema.py

我认为这与现在流式传输的流水线有关,有谁能告诉我如何在流式传输管道中进行bigQuery写入?

python google-bigquery google-cloud-platform google-cloud-pubsub google-cloud-dataflow

5
推荐指数
1
解决办法
1161
查看次数

如何使用Java Beam SDK获取数据流作业的步骤详细信息?

我正在使用Java Beam SDK进行数据流作业,而com.google.api.services.dataflow.model.Job类则提供有关特定作业的详细信息.但是,它不提供任何方法/属性来获取数据流步骤信息,例如添加元素,估计大小等.

在此输入图像描述

下面是我用来获取工作信息的代码,

PipelineResult result = p.run();        
String jobId = ((DataflowPipelineJob) result).getJobId();
DataflowClient client = DataflowClient.create(options);
Job job = client.getJob(jobId);
Run Code Online (Sandbox Code Playgroud)

我在找类似的东西,

job.getSteps("step name").getElementsAdded();
job.getSteps("step name").getEstimatedSize();
Run Code Online (Sandbox Code Playgroud)

提前致谢.

google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
451
查看次数

BigQueryIO - 使用流和FILE_LOADS写性能

我的管道:Kafka - > Dataflow streaming(Beam v2.3) - > BigQuery

鉴于在我的情况下低延迟并不重要,我使用FILE_LOADS来降低成本,如下所示:

BigQueryIO.writeTableRows()
  .withJsonSchema(schema)
  .withWriteDisposition(WriteDisposition.WRITE_APPEND)
  .withCreateDisposition(CreateDisposition.CREATE_IF_NEEDED)
  .withMethod(Method.FILE_LOADS)
  .withTriggeringFrequency(triggeringFrequency)      
  .withCustomGcsTempLocation(gcsTempLocation)
  .withNumFileShards(numFileShards) 
  .withoutValidation()
  .to(new SerializableFunction[ValueInSingleWindow[TableRow], TableDestination]() {
    def apply(element: ValueInSingleWindow[TableRow]): TableDestination = {
      ...
    }
  }
Run Code Online (Sandbox Code Playgroud)

这个数据流步骤在管道中引入了一个总是更大的延迟,因此它无法跟上Kafka吞吐量(小于50k事件/秒),即使有40 n1-standard-s4名工作人员.如下面的屏幕截图所示,此步骤的系统滞后非常大(接近管道正常运行时间),而Kafka系统滞后只有几秒钟.

BigQueryIO.Write引入了系统延迟

如果我理解正确,Dataflow会将元素写入gcsTempLocation中的numFileShards,并且每个triggeringFrequency都会启动一个加载作业,将它们插入到BigQuery中.例如,如果我选择5分钟的触发bq ls -a -j频率,我可以看到(有)所有负载作业需要不到1分钟才能完成.但仍然是这一步骤引入了越来越多的延迟,导致Kafka消耗越来越少的元素(由于bcackpressure).增加/减少numFileShards和triggeringFrequency并不能解决问题.

我没有手动指定任何窗口,我只是默认窗口.文件不会在gcsTempLocation中累积.

知道这里出了什么问题吗?

google-bigquery google-cloud-platform google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
895
查看次数

根据数据作业的大小启动kubernetes pod内存

有没有办法根据数据作业的大小动态扩展Pod的内存大小(我的用例)?

目前我们有使用内存量定义的Job和Pod,但我们不知道给定时间片(有时1000行,有时100,000行)的数据有多大.
因此,如果数据大于我们事先分配的内存,它将会中断.

我曾想过按数据量使用切片,即每10,000行切一次,我们就知道处理固定行数的内存需求.但我们正试图按时间聚合,因此需要时间片.

或任何其他解决方案,如Spark on kubernetes?

另一种看待它的方式:
我们如何在AWS上的Kubernetes中实现Cloud Dataflow

apache-spark kubernetes apache-spark-sql google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
276
查看次数

数据流/ Apache Beam:管理自定义模块依赖性

我有一个使用Apache Beam的.py管道,该管道导入了另一个模块(.py),这是我的自定义模块。我有一个像这样的结构:

??? mymain.py
??? myothermodule.py
Run Code Online (Sandbox Code Playgroud)

我将myothermodule.py导入mymain.py中,如下所示:

import myothermodule
Run Code Online (Sandbox Code Playgroud)

当我在上本地运行时DirectRuner,我没有问题。但是,当我使用来在数据流上运行它时DataflowRunner,出现了一条错误消息:

ImportError: No module named myothermodule
Run Code Online (Sandbox Code Playgroud)

因此,我想知道在数据流上运行作业时是否希望找到该模块该怎么办?

python google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
686
查看次数