从Maven中拉出最新的SDK版本(0.4.150414),我们的工作现在失败了.
我们已经将它追溯到我们的一个类中使用的HashMap的反序列化,并且由ParDo转换引用.
观察:
processElement调用之前正确填充HashMapprocessElement方法中放置断点显示HashMap具有不同的对象ID(必须来自反序列化原始HashMap),但现在它是空的,即所有元素都已丢失.在最新版本的SDK中,序列化/反序列化功能有什么变化吗?
如果您需要,很高兴将我们的代码发送到反馈电子邮件.
如此处所示, Dataflow 管道由固定的 DAG 表示。我想知道是否有可能实现一个管道,在该管道中处理继续进行,直到基于到目前为止计算的数据满足动态评估的条件。
这是一些伪代码来说明我想要实现的内容:
PCollection pco = null
while(true):
pco = pco.apply(someTransform())
if (conditionSatisfied(pco)):
break
pco.Write()
Run Code Online (Sandbox Code Playgroud) 我正在使用 DataflowPipelineRunner 创建数据流作业。我尝试了以下场景。
在上述所有场景中,输入是来自 GCS 的一个非常小的文件(KB 大小),输出是大查询表。
我在所有情况下都出现内存不足错误
我编译的代码的大小是 94mb。我只尝试字数统计示例,它没有读取任何输入(在作业开始之前它失败了)。请帮助我理解为什么我会收到此错误。
注意:我正在使用 appengine 来开始这项工作。
注意:相同的代码适用于 beta 版本0.4.150414
编辑 1
根据答案中的建议尝试了以下操作,
经过这些配置,Java Heap Memory 问题就解决了。但它试图将一个 jar 上传到超过 10Mb 的暂存位置,因此它失败了。
它记录以下异常
com.google.api.client.http.HttpRequest execute: exception thrown while executing request
com.google.appengine.api.urlfetch.RequestPayloadTooLargeException: The request to https://www.googleapis.com/upload/storage/v1/b/pwccloudedw-stagging-bucket/o?name=appengine-api-L4wtoWwoElWmstI1Ia93cg.jar&uploadType=resumable&upload_id=AEnB2Uo6HCfw6Usa3aXlcOzg0g3RawrvuAxWuOUtQxwQdxoyA0cf22LKqno0Gu-hjKGLqXIo8MF2FHR63zTxrSmQ9Yk9HdCdZQ exceeded the 10 MiB limit.
at com.google.appengine.api.urlfetch.URLFetchServiceImpl.convertApplicationException(URLFetchServiceImpl.java:157)
at com.google.appengine.api.urlfetch.URLFetchServiceImpl.fetch(URLFetchServiceImpl.java:45)
at com.google.apphosting.utils.security.urlfetch.URLFetchServiceStreamHandler$Connection.fetchResponse(URLFetchServiceStreamHandler.java:543)
at com.google.apphosting.utils.security.urlfetch.URLFetchServiceStreamHandler$Connection.getInputStream(URLFetchServiceStreamHandler.java:422)
at com.google.apphosting.utils.security.urlfetch.URLFetchServiceStreamHandler$Connection.getResponseCode(URLFetchServiceStreamHandler.java:275)
at com.google.api.client.http.javanet.NetHttpResponse.<init>(NetHttpResponse.java:36)
at com.google.api.client.http.javanet.NetHttpRequest.execute(NetHttpRequest.java:94)
at com.google.api.client.http.HttpRequest.execute(HttpRequest.java:965)
at …Run Code Online (Sandbox Code Playgroud) 调试数据流作业的内存问题的最佳方法是什么?
我的工作因 GC OOM 错误而失败,但是当我在本地对其进行分析时,我无法重现确切的场景和数据量。
我现在在“n1-highmem-4”机器上运行它,我再也看不到错误了,但是工作非常慢,所以显然使用具有更多 RAM 的机器不是解决方案:)
感谢您的任何建议,G
我试图弄清楚DataFlow如何扩展某些操作以及如何使其表现最佳.首先,我创建了一个从BigQuery读取数据的简单流程(大约25M行,总共30GB),一个JSON提取,一个简单的按键组合,然后一个聚合组(每个大约100个元素),另一个转换每个键并将其放回一个新表(~500k行,总共25gb).
总管道执行时间在10-18分钟之间,具体取决于我分配的工人数量或者我使用多核机器等等.我无法在此速度以下加速.我还没有确定确切的阈值,但基本上20个单核或10个四核之间的差异不再可靠地测量.
所以我的问题是如何进一步调查这一点,并找出哪个步骤需要花费大部分时间以及如何改进它.我假设DataFlow本身负责扩展各个步骤并在它们之间进行平衡.但对我来说,现在看到收到的第一条消息和最后一条消息的发送,以及每步的吞吐量随时间变化都会很有趣.这是某种可用的东西,还是我必须自己开始检测和记录?有了这些信息,我将开始基于此优化各个步骤,并可能覆盖DataFlows缩放.
这是正确的方法,还是有更好的方法?
**我的目标时间是将时间缩短到2分钟.
我目前正在尝试将Dataflow与Pub/Sub一起使用,但我收到此错误:
工作流程失败.原因:(6e74e8516c0638ca):刷新凭据时出现问题.请检查:1.为您的项目启用了Dataflow API.2.您的项目有一个机器人服务帐户:service- [项目编号] @ dataflow-service-producer-prod.iam.gserviceaccount.com应该可以访问您的项目.如果此帐户未显示在您的项目的"权限"选项卡中,请与Dataflow支持部门联系.
我试图查看API管理器以启用Dataflow API,但我根本找不到Dataflow.我也没有看到机器人服务帐户.
我有一个用例,需要T从DoFn 输出多个。所以DoFn函数返回一个PCollection<List<T>>。我想将其转换为PCollection<T>以便稍后在管道中进行过滤,例如:
PCollection<T> filteredT = filterationResult.apply(Filter.byPredicate(p -> p.equals(T) == T));
Run Code Online (Sandbox Code Playgroud)
目前,我能想到的最好的方法是,List<T>从ParDo我KV<String,List<T>>用相同键返回的函数返回每个项目。然后在管道中,我可以执行以下操作以合并结果:
filterationResult.apply("Group", GroupByKey.<String, List<T>>create())
Run Code Online (Sandbox Code Playgroud)
或者可以拨打我c.output(T)从DOFN(这里c是ProcessContext对象传入)多次?
我编写了一个Dataflow作业,当我手动运行它时效果很好。这是相关的部分(为清楚起见,删除了一些验证代码):
parser.add_argument('--end_datetime',
dest='end_datetime')
known_args, pipeline_args = parser.parse_known_args(argv)
query = <redacted SQL String with a placeholder for a date>
query = query.replace('#ENDDATETIME#', known_args.end_datetime)
with beam.Pipeline(options=pipeline_options) as p:
rows = p | 'read query' >> beam.io.Read(beam.io.BigQuerySource(query=query, use_standard_sql=True))
Run Code Online (Sandbox Code Playgroud)
现在,我想创建一个模板并将其安排为以动态ENDDATETIME定期运行。据我了解,为了做到这一点,我需要根据此文档将add_argument更改为add_value_provider_argument:
https://cloud.google.com/dataflow/docs/templates/creating-templates
不幸的是,似乎ValueProvider值在我需要它们时不可用,它们仅在管道内部可用。(如果我在这里错了,请纠正我...)。所以我有点卡住了。
是否有人对如何在Dataflow模板中的查询中获取动态日期有任何建议?
如何在Apache Beam中实现Pandas?我无法在多个列上执行左联接,并且Pcollections不支持sql查询。甚至Apache Beam文档也没有正确地构建框架。我检查了一下,但是在Apache Beam中找不到任何熊猫实现。谁能将我定向到所需的链接?
2018-07-16_04_25_02-6605099454046602382出现此错误时,在没有本地VPC网络的项目中启动Dataflow job()时遇到问题
Workflow failed. Causes: Network default is not accessible to Dataflow
Service account
Run Code Online (Sandbox Code Playgroud)
有一个共享的VPC连接到该项目与网络称为default一个子网default中us-central1-然而,用于运行数据流工作不缝有机会获得它的服务帐户。我已经提供了dataflow-service-producer服务帐户Compute Network User,但没有任何明显的效果。关于如何处理的任何想法?