标签: google-cloud-dataflow

云数据流 - 增加JVM Xmx值

我们正在尝试在云中运行Google Cloud Dataflow作业,但我们不断收到"java.lang.OutOfMemoryError:Java堆空间".

我们正在尝试从Big Query表处理6.1亿条记录,并将处理过的记录写入12个不同的输出(主+ 11侧输出).

我们已经尝试将实例数增加到64个n1-standard-4个实例,但我们仍然遇到了这个问题.

即使实例具有15GB内存,VM上的Xmx值似乎也设置为~4GB(-Xmx3951927296).有没有办法增加Xmx值?

工作ID是 - 2015-06-11_21_32_32-16904087942426468793

java google-cloud-platform google-cloud-dataflow

5
推荐指数
1
解决办法
1031
查看次数

设置自定义编码器和处理参数化类型

我有两个与我在Dataflow管道中遇到的编码器问题有关的问题.

  • 如何为自定义数据类型设置编码器?该类只包含三个项目 - 两个双精度数和另一个参数化属性.我尝试用SerializableCoder注释类型,但我仍然得到错误"com.google.cloud.dataflow.sdk.coders.CannotProvideCoderException:无法根据类接口java.util.Set提供编码器:没有注册CoderFactory为了上课." Set实际上包含参数化的自定义数据类型 - 所以我假设自定义数据类型是问题.我找不到足够的文档/示例正确的方法来做到这一点.请将我指向正确的地方.
  • 即使没有自定义数据类型,每当我尝试切换到参数化版本的Transform函数时,都会导致编码器错误.具体来说,在参数化的复杂变换中,ParDo使用参数化类型,但是当我在ParDo之后对结果PCollection应用Combine.PerKey时,会导致CoderNotFoundException.

关于这两个项目的任何帮助都会有所帮助,因为我现在有点困惑.

google-cloud-platform google-cloud-dataflow

5
推荐指数
1
解决办法
1162
查看次数

从云功能启动云数据流

如何从Google Cloud功能启动Cloud Dataflow作业?我想使用Google Cloud Functions作为启用跨服务合成的机制.

google-cloud-dataflow google-cloud-functions

5
推荐指数
1
解决办法
1171
查看次数

应用程序默认凭据无法与App Engine本地一起使用

在OS X上开发的Java应用程序引擎项目中本地运行时,很难将默认应用程序凭据加载到数据流SDK中.部署时运行正常.

根据这个 dev的应用程序服务器不支持他们,你打算使用gcloud指令行工具的命令:gcloud preview app run-但据谷歌官方小组的SDK 这里是命令2016年1月弃用.

所以我似乎陷入了摇滚和硬地之间......有谁知道如何让应用程序默认凭据在App Engine应用程序本地工作?

我正在尝试使用Dataflow API,它只是在它开始使用云存储API时抛出,这是Pipeline的第一件事,因为它似乎无法从环境变量加载正确的凭据(即肯定在ENV和appengine-web.xml <env-variables>元素中设置或从~/.config/cloud/default_application_credentials.json文件中设置.

干杯!

google-app-engine google-cloud-dataflow google-identity google-cloud-sdk

5
推荐指数
2
解决办法
1566
查看次数

诊断失败的Cloud Dataflow管道

在大约14个工作小时后,我有一个Cloud Dataflow管道失败,并显示以下隐藏日志消息:

2016年3月29日,下午8:18:16(3253bcfbb8c9c2a7):工作流程失败.原因:(2bfe8449fe3ba464):S745(STAGE REDACTED)原因:(1a6d5387c382ba3a):尝试了4次工作项而没有成功.每次工人最终都失去与服务的联系.尝试了以下工作项目:(工人删除)

我迅速看了一眼工人的日志,并不是很明显发生了什么.是否应该对那些原因代码有所帮助?

该故障排除指南并没有特别阐明这里,无论是.我最好的猜测是它属于"随机播放"类别(作业非常密集),但日志中没有列出的错误.

谢谢!

google-cloud-dataflow

5
推荐指数
1
解决办法
1471
查看次数

如何在Dataflow中使用BigQuery Standard SQL?

我想在数据流中使用BigQuery Standard SQL运行一个简单的查询,但我找不到启用此选项的位置.我怎样才能做到这一点?

pipeline.apply(Read.named(metricName + " Read").fromQuery("select * from table1 UNION DISTINCT select * from table2"));
Run Code Online (Sandbox Code Playgroud)

当我尝试运行它时,我收到错误:

2016-07-20T13:35:22.543Z: Error:   (6e0ad847af078af9): Workflow failed. Causes: (fe6c7bcb1a35a057): S01:warehouse_handled_returns Read/DataflowPipelineRunner.BatchBigQueryIONativeRead+ParMultiDo(FormatData)+warehouse_handled_returns Write/DataflowPipelineRunner.BatchBigQueryIOWrite/DataflowPipelineRunner.BatchBigQueryIONativeWrite failed., (7f29f1d9435d27bc): BigQuery execution failed., (7f29f1d9435d2823): Error:
Message: Encountered "" at line 23, column 27.

HTTP Code: 400
Run Code Online (Sandbox Code Playgroud)

google-bigquery google-cloud-dataflow

5
推荐指数
1
解决办法
1465
查看次数

在Cloud Dataflow中使用Beam SDK

我们目前正在使用Google的Cloud Dataflow SDK(1.6.0)在GCP中运行数据流作业,但是,我们正在考虑转向Apache Beam SDK(0.1.0).我们仍将使用数据流服务在GCP中运行我们的工作.有没有人经历过这种转变并有建议?这里是否有任何兼容性问题,GCP是否鼓励这一举措?

google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
407
查看次数

将BigQuery表流式传输到Google Pub / Sub

我有一个Google bigQuery表,我想将整个表流式传输到pub-sub主题中

简便的方法应该是什么?

先感谢您,

google-cloud-storage google-bigquery google-cloud-platform google-cloud-pubsub google-cloud-dataflow

5
推荐指数
2
解决办法
2033
查看次数

Apache-Beam + Python:将JSON(或字典)字符串写入输出文件

我正在尝试使用Beam管道,以便将SequenceMatcher函数应用于大量单词.我(希望)除了WriteToText部分之外已经找到了所有的东西.

我已经定义了一个自定义ParDo(在此称为ProcessDataDoFn),它接受main_input和side_input,处理它们并输出像这样的字典

{u'key': (u'string', float)}
Run Code Online (Sandbox Code Playgroud)

我的管道非常简单

class ProcessDataDoFn(beam.DoFn):
    def process(self, element, side_input):

    ... Series of operations ...

    return output_dictionary

with beam.Pipeline(options=options) as p:

    # Main input
    main_input = p | 'ReadMainInput' >> beam.io.Read(
        beam.io.BigQuerySource(
            query=CUSTOM_SQL,
            use_standard_sql=True
        ))

    # Side input
    side_input = p | 'ReadSideInput' >> beam.io.Read(
        beam.io.BigQuerySource(
            project=PROJECT_ID,
            dataset=DATASET,
            table=TABLE
        ))

    output = (
        main_input
        | 'ProcessData' >> beam.ParDo(
            ProcessDataDoFn(),
            side_input=beam.pvalue.AsList(side_input))
        | 'WriteOutput' >> beam.io.WriteToText(GCS_BUCKET)
    )
Run Code Online (Sandbox Code Playgroud)

现在的问题是,如果我像这样离开管道,它只输出output_dictionary的键.如果我将ProcessDataDoFn的返回值更改为json.dumps(ouput_dictionary),则Json写得正确但是像这样

{
'
k
e
y
'

:

[
'
s
t
r …
Run Code Online (Sandbox Code Playgroud)

python json dictionary google-cloud-dataflow apache-beam

5
推荐指数
2
解决办法
2055
查看次数

在Apache Beam中查看与文件模式匹配的新文件

我在GCS或其他受支持的文件系统上有一个目录,外部进程正在向该文件系统写入新文件.

我想写一个Apache Beam流管道,它不断地在这个目录中查看新文件,并在每个新文件到达时读取和处理它们.这可能吗?

google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
2978
查看次数