我们正在尝试在云中运行Google Cloud Dataflow作业,但我们不断收到"java.lang.OutOfMemoryError:Java堆空间".
我们正在尝试从Big Query表处理6.1亿条记录,并将处理过的记录写入12个不同的输出(主+ 11侧输出).
我们已经尝试将实例数增加到64个n1-standard-4个实例,但我们仍然遇到了这个问题.
即使实例具有15GB内存,VM上的Xmx值似乎也设置为~4GB(-Xmx3951927296).有没有办法增加Xmx值?
工作ID是 - 2015-06-11_21_32_32-16904087942426468793
我有两个与我在Dataflow管道中遇到的编码器问题有关的问题.
关于这两个项目的任何帮助都会有所帮助,因为我现在有点困惑.
如何从Google Cloud功能启动Cloud Dataflow作业?我想使用Google Cloud Functions作为启用跨服务合成的机制.
在OS X上开发的Java应用程序引擎项目中本地运行时,很难将默认应用程序凭据加载到数据流SDK中.部署时运行正常.
根据这个 dev的应用程序服务器不支持他们,你打算使用gcloud指令行工具的命令:gcloud preview app run-但据谷歌官方小组的SDK 这里是命令2016年1月弃用.
所以我似乎陷入了摇滚和硬地之间......有谁知道如何让应用程序默认凭据在App Engine应用程序本地工作?
我正在尝试使用Dataflow API,它只是在它开始使用云存储API时抛出,这是Pipeline的第一件事,因为它似乎无法从环境变量加载正确的凭据(即肯定在ENV和appengine-web.xml <env-variables>元素中设置或从~/.config/cloud/default_application_credentials.json文件中设置.
干杯!
google-app-engine google-cloud-dataflow google-identity google-cloud-sdk
在大约14个工作小时后,我有一个Cloud Dataflow管道失败,并显示以下隐藏日志消息:
2016年3月29日,下午8:18:16(3253bcfbb8c9c2a7):工作流程失败.原因:(2bfe8449fe3ba464):S745(STAGE REDACTED)原因:(1a6d5387c382ba3a):尝试了4次工作项而没有成功.每次工人最终都失去与服务的联系.尝试了以下工作项目:(工人删除)
我迅速看了一眼工人的日志,并不是很明显发生了什么.是否应该对那些原因代码有所帮助?
该故障排除指南并没有特别阐明这里,无论是.我最好的猜测是它属于"随机播放"类别(作业非常密集),但日志中没有列出的错误.
谢谢!
我想在数据流中使用BigQuery Standard SQL运行一个简单的查询,但我找不到启用此选项的位置.我怎样才能做到这一点?
pipeline.apply(Read.named(metricName + " Read").fromQuery("select * from table1 UNION DISTINCT select * from table2"));
Run Code Online (Sandbox Code Playgroud)
当我尝试运行它时,我收到错误:
2016-07-20T13:35:22.543Z: Error: (6e0ad847af078af9): Workflow failed. Causes: (fe6c7bcb1a35a057): S01:warehouse_handled_returns Read/DataflowPipelineRunner.BatchBigQueryIONativeRead+ParMultiDo(FormatData)+warehouse_handled_returns Write/DataflowPipelineRunner.BatchBigQueryIOWrite/DataflowPipelineRunner.BatchBigQueryIONativeWrite failed., (7f29f1d9435d27bc): BigQuery execution failed., (7f29f1d9435d2823): Error:
Message: Encountered "" at line 23, column 27.
HTTP Code: 400
Run Code Online (Sandbox Code Playgroud) 我正在尝试使用Beam管道,以便将SequenceMatcher函数应用于大量单词.我(希望)除了WriteToText部分之外已经找到了所有的东西.
我已经定义了一个自定义ParDo(在此称为ProcessDataDoFn),它接受main_input和side_input,处理它们并输出像这样的字典
{u'key': (u'string', float)}
Run Code Online (Sandbox Code Playgroud)
我的管道非常简单
class ProcessDataDoFn(beam.DoFn):
def process(self, element, side_input):
... Series of operations ...
return output_dictionary
with beam.Pipeline(options=options) as p:
# Main input
main_input = p | 'ReadMainInput' >> beam.io.Read(
beam.io.BigQuerySource(
query=CUSTOM_SQL,
use_standard_sql=True
))
# Side input
side_input = p | 'ReadSideInput' >> beam.io.Read(
beam.io.BigQuerySource(
project=PROJECT_ID,
dataset=DATASET,
table=TABLE
))
output = (
main_input
| 'ProcessData' >> beam.ParDo(
ProcessDataDoFn(),
side_input=beam.pvalue.AsList(side_input))
| 'WriteOutput' >> beam.io.WriteToText(GCS_BUCKET)
)
Run Code Online (Sandbox Code Playgroud)
现在的问题是,如果我像这样离开管道,它只输出output_dictionary的键.如果我将ProcessDataDoFn的返回值更改为json.dumps(ouput_dictionary),则Json写得正确但是像这样
{
'
k
e
y
'
:
[
'
s
t
r …Run Code Online (Sandbox Code Playgroud) 我在GCS或其他受支持的文件系统上有一个目录,外部进程正在向该文件系统写入新文件.
我想写一个Apache Beam流管道,它不断地在这个目录中查看新文件,并在每个新文件到达时读取和处理它们.这可能吗?
截至今天,由于错误定位Dataflow SDK for Java中的许多关键类,我正在为现有代码进行构建中断,这些代码曾经正确编译.例如:
[ERROR] /tmp/first-dataflow/src/main/java/com/google/cloud/dataflow/examples/common/DataflowExampleUtils.java:[30,37] cannot find symbol
[ERROR] symbol: class Pipeline
[ERROR] location: package com.google.cloud.dataflow.sdk
Run Code Online (Sandbox Code Playgroud)
API已更改?
我有一个用例,需要将70 TB的数据从DynamoDB迁移到BigTable和Spanner。具有单个索引的表将进入BigTable,否则将进入Spanner。
通过将数据导出到S3-> GCS-> Spanner / BigTable,可以轻松处理历史负载。但是具有挑战性的部分是要处理DynamoDB上同时发生的增量流负载。DynamoDB中有300个表。
如何以最好的方式处理这件事?有人做过吗?
amazon-dynamodb google-cloud-dataflow google-cloud-bigtable apache-beam google-cloud-spanner