我们有一个从 BigQuery 表读取的管道。调用getF()TableRow 上的方法应该List<TableCell>为该行返回 a 。但它返回null。
为什么getF()返回null?
@Override
public void processElement(ProcessContext c) throws Exception {
TableRow aRow = context.element();
List<TableCell> tableCells = aRow.getF(); //This returns null!
}
Run Code Online (Sandbox Code Playgroud) 当我使用 *DataflowPipelineRunner 从 Dataflow 文档中运行示例 WordCount 作业时,它会启动工作程序,然后只是挂起状态为 Running。
最后两条状态消息:
Jan 29, 2016, 22:05:50
S02: (b959a12901787f4d): Executing operation ReadLines+WordCount.CountWords/ParDo(ExtractWords)+WordCount.CountWords/Count.PerElement/Init+WordCount.CountWords/Count.PerElement/Count.PerKey/GroupByKey+WordCount.CountWords/Count.PerElement/Count.PerKey/Combine.GroupedValues/Partial+WordCount.CountWords/Count.PerElement/Count.PerKey/GroupByKey/Reify+WordCount.CountWords/Count.PerElement/Count.PerKey/GroupByKey/Write
Jan 29, 2016, 22:06:42
(c3fc1276c0229a41): Workers have started successfully.
Run Code Online (Sandbox Code Playgroud)
就是这样。当我单击“工作日志”时,它完全是空的。保持这种状态至少 20 分钟。
它适用于 DirectPipelineRunner(在几秒钟内完成并在我的 gs://... 上创建输出文件)。
我应该看什么?
命令行参数:
--project=my-project
--stagingLocation=gs://my-project/dataflow/staging
Run Code Online (Sandbox Code Playgroud) 我一直在阅读 Dataflow SDK 文档,试图找出当数据到达流作业中的水印时会发生什么。
这一页:
https://cloud.google.com/dataflow/model/windowing
表示如果使用默认的 window/trigger 策略,则后期数据将被丢弃:
注意:Dataflow 的默认窗口和触发策略会丢弃延迟数据。如果您想确保您的管道处理延迟数据的实例,则需要在设置 PCollection 的窗口策略并相应地为 PCollection 设置触发器时显式设置 .withAllowedLateness。
然而这个页面:
https://cloud.google.com/dataflow/model/triggers
表示延迟数据在延迟到达时将作为单个元素 PCollection 发出:
PCollection 的默认触发器是基于事件时间的,并在系统的水印(Dataflow 的“应该”拥有所有数据的时间)通过窗口末尾时发出窗口的结果。默认触发器在重复的基础上发出,这意味着根据定义,任何迟到的数据都将在水印之后到达并触发触发器,从而导致迟到的元素在它们到达时被发出。
那么,超过水印的后期数据会被完全丢弃吗?或者,如果它及时到达,它会不会与其他数据一起发出,而是自己发出?
目前是否可以使用 Apache Beam 从 python 中的 gzip 文件中读取?我的管道正在使用以下代码行从 gcs 中提取 gzip 文件:
beam.io.Read(beam.io.TextFileSource('gs://bucket/file.gz', compression_type='GZIP'))
Run Code Online (Sandbox Code Playgroud)
但我收到此错误:
UnicodeDecodeError: 'utf8' codec can't decode byte 0x8b in position 1: invalid start byte
Run Code Online (Sandbox Code Playgroud)
我们在 python beam 源代码中注意到,在写入接收器时似乎处理了压缩文件。 https://github.com/apache/incubator-beam/blob/python-sdk/sdks/python/apache_beam/io/fileio.py#L445
更详细的追溯:
Traceback (most recent call last):
File "beam-playground.py", line 11, in <module>
p.run()
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/pipeline.py", line 159, in run
return self.runner.run(self)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/runners/direct_runner.py", line 103, in run
super(DirectPipelineRunner, self).run(pipeline)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/runners/runner.py", line 98, in run
pipeline.visit(RunVisitor(self))
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/pipeline.py", line 182, in visit
self._root_transform().visit(visitor, self, visited)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/pipeline.py", …Run Code Online (Sandbox Code Playgroud) 我的Cloud Dataflow作业运行了4个小时后,神秘地失败了,因为一个工作人员四次(在一小时的时间内)抛出了该异常。异常堆栈如下所示。
java.io.IOException: com.google.api.client.googleapis.json.GoogleJsonResponseException: 410 Gone { "code" : 500, "errors" : [ { "domain" : "global", "message" : "Backend Error", "reason" : "backendError" } ], "message" : "Backend Error" }
at com.google.cloud.hadoop.util.AbstractGoogleAsyncWriteChannel.waitForCompletionAndThrowIfUploadFailed(AbstractGoogleAsyncWriteChannel.java:431)
at com.google.cloud.hadoop.util.AbstractGoogleAsyncWriteChannel.close(AbstractGoogleAsyncWriteChannel.java:289)
at com.google.cloud.dataflow.sdk.io.FileBasedSink$FileBasedWriter.close(FileBasedSink.java:516)
at com.google.cloud.dataflow.sdk.io.FileBasedSink$FileBasedWriter.close(FileBasedSink.java:419)
at com.google.cloud.dataflow.sdk.io.Write$Bound$2.finishBundle(Write.java:201) Caused by: com.google.api.client.googleapis.json.GoogleJsonResponseException: 410 Gone { "code" : 500, "errors" : [ { "domain" : "global", "message" : "Backend Error", "reason" : "backendError" } ], "message" : "Backend Error" }
at com.google.api.client.googleapis.json.GoogleJsonResponseException.from(GoogleJsonResponseException.java:146)
at com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:113)
at com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:40)
at com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed(AbstractGoogleClientRequest.java:432)
at …Run Code Online (Sandbox Code Playgroud) 我正在尝试使用python数据流将谷歌PubSub中的一些数据流式传输到BigQuery.出于测试目的,我通过设置将以下代码https://github.com/GoogleCloudPlatform/DataflowSDK-examples/blob/master/python/dataflow_examples/cookbook/bigquery_schema.py改编为流式传输管道
options.view_as(StandardOptions).streaming = True
Run Code Online (Sandbox Code Playgroud)
然后我将record_ids管道更改为从Pub/Sub读取
# ADDED THIS
lines = p | 'Read PubSub' >> beam.io.ReadStringsFromPubSub(INPUT_TOPIC) | beam.WindowInto(window.FixedWindows(15))
# CHANGED THIS # record_ids = p | 'CreateIDs' >> beam.Create(['1', '2', '3', '4', '5'])
record_ids = lines | 'Split' >> (beam.FlatMap(split_fn).with_output_types(unicode))
records = record_ids | 'CreateRecords' >> beam.Map(create_random_record)
records | 'Write' >> beam.io.Write(
beam.io.BigQuerySink(
OUTPUT,
schema=table_schema,
create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE))
Run Code Online (Sandbox Code Playgroud)
注意:我已被谷歌列入白名单以运行代码(在alpha中)
现在,当我尝试它时,我有一个错误
工作流程失败.原因:(f215df7c8fcdbb00):未知的流式接收器:bigquery
你可以在这里找到完整的代码:https://github.com/marcorigodanzo/gcp_streaming_test/blob/master/my_bigquery_schema.py
我认为这与现在流式传输的流水线有关,有谁能告诉我如何在流式传输管道中进行bigQuery写入?
python google-bigquery google-cloud-platform google-cloud-pubsub google-cloud-dataflow
我正在使用Java Beam SDK进行数据流作业,而com.google.api.services.dataflow.model.Job类则提供有关特定作业的详细信息.但是,它不提供任何方法/属性来获取数据流步骤信息,例如添加元素,估计大小等.
下面是我用来获取工作信息的代码,
PipelineResult result = p.run();
String jobId = ((DataflowPipelineJob) result).getJobId();
DataflowClient client = DataflowClient.create(options);
Job job = client.getJob(jobId);
Run Code Online (Sandbox Code Playgroud)
我在找类似的东西,
job.getSteps("step name").getElementsAdded();
job.getSteps("step name").getEstimatedSize();
Run Code Online (Sandbox Code Playgroud)
提前致谢.
我的管道:Kafka - > Dataflow streaming(Beam v2.3) - > BigQuery
鉴于在我的情况下低延迟并不重要,我使用FILE_LOADS来降低成本,如下所示:
BigQueryIO.writeTableRows()
.withJsonSchema(schema)
.withWriteDisposition(WriteDisposition.WRITE_APPEND)
.withCreateDisposition(CreateDisposition.CREATE_IF_NEEDED)
.withMethod(Method.FILE_LOADS)
.withTriggeringFrequency(triggeringFrequency)
.withCustomGcsTempLocation(gcsTempLocation)
.withNumFileShards(numFileShards)
.withoutValidation()
.to(new SerializableFunction[ValueInSingleWindow[TableRow], TableDestination]() {
def apply(element: ValueInSingleWindow[TableRow]): TableDestination = {
...
}
}
Run Code Online (Sandbox Code Playgroud)
这个数据流步骤在管道中引入了一个总是更大的延迟,因此它无法跟上Kafka吞吐量(小于50k事件/秒),即使有40 n1-standard-s4名工作人员.如下面的屏幕截图所示,此步骤的系统滞后非常大(接近管道正常运行时间),而Kafka系统滞后只有几秒钟.
如果我理解正确,Dataflow会将元素写入gcsTempLocation中的numFileShards,并且每个triggeringFrequency都会启动一个加载作业,将它们插入到BigQuery中.例如,如果我选择5分钟的触发bq ls -a -j频率,我可以看到(有)所有负载作业需要不到1分钟才能完成.但仍然是这一步骤引入了越来越多的延迟,导致Kafka消耗越来越少的元素(由于bcackpressure).增加/减少numFileShards和triggeringFrequency并不能解决问题.
我没有手动指定任何窗口,我只是默认窗口.文件不会在gcsTempLocation中累积.
知道这里出了什么问题吗?
google-bigquery google-cloud-platform google-cloud-dataflow apache-beam
有没有办法根据数据作业的大小动态扩展Pod的内存大小(我的用例)?
目前我们有使用内存量定义的Job和Pod,但我们不知道给定时间片(有时1000行,有时100,000行)的数据有多大.
因此,如果数据大于我们事先分配的内存,它将会中断.
我曾想过按数据量使用切片,即每10,000行切一次,我们就知道处理固定行数的内存需求.但我们正试图按时间聚合,因此需要时间片.
或任何其他解决方案,如Spark on kubernetes?
另一种看待它的方式:
我们如何在AWS上的Kubernetes中实现Cloud Dataflow
apache-spark kubernetes apache-spark-sql google-cloud-dataflow apache-beam
我有一个使用Apache Beam的.py管道,该管道导入了另一个模块(.py),这是我的自定义模块。我有一个像这样的结构:
??? mymain.py
??? myothermodule.py
Run Code Online (Sandbox Code Playgroud)
我将myothermodule.py导入mymain.py中,如下所示:
import myothermodule
Run Code Online (Sandbox Code Playgroud)
当我在上本地运行时DirectRuner,我没有问题。但是,当我使用来在数据流上运行它时DataflowRunner,出现了一条错误消息:
ImportError: No module named myothermodule
Run Code Online (Sandbox Code Playgroud)
因此,我想知道在数据流上运行作业时是否希望找到该模块该怎么办?