标签: google-cloud-dataflow

工作已破坏SDK版本0.4.150414

从Maven中拉出最新的SDK版本(0.4.150414),我们的工作现在失败了.

我们已经将它追溯到我们的一个类中使用的HashMap的反序列化,并且由ParDo转换引用.

观察:

  • 在本地运行时以及在云中的CDF服务上都会中断.
  • 在processElement调用之前正确填充HashMap
  • 在processElement方法中放置断点显示HashMap具有不同的对象ID(必须来自反序列化原始HashMap),但现在它是空的,即所有元素都已丢失.
  • 我们回滚到版本0.3.150326,它适用于该版本.

在最新版本的SDK中,序列化/反序列化功能有什么变化吗?

如果您需要,很高兴将我们的代码发送到反馈电子邮件.

google-cloud-dataflow

3
推荐指数
1
解决办法
87
查看次数

Dataflow 中的迭代处理

如此处所示, Dataflow 管道由固定的 DAG 表示。我想知道是否有可能实现一个管道,在该管道中处理继续进行,直到基于到目前为止计算的数据满足动态评估的条件。

这是一些伪代码来说明我想要实现的内容:

    PCollection pco = null
    while(true):
        pco = pco.apply(someTransform())
        if (conditionSatisfied(pco)):
            break
    pco.Write()
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow

3
推荐指数
1
解决办法
388
查看次数

从 Google App Engine 应用运行 Google Dataflow 管道?

我正在使用 DataflowPipelineRunner 创建数据流作业。我尝试了以下场景。

  1. 不指定任何 machineType
  2. 配g1小机
  3. 使用 n1-highmem-2

在上述所有场景中,输入是来自 GCS 的一个非常小的文件(KB 大小),输出是大查询表。

我在所有情况下都出现内存不足错误

我编译的代码的大小是 94mb。我只尝试字数统计示例,它没有读取任何输入(在作业开始之前它失败了)。请帮助我理解为什么我会收到此错误。

注意:我正在使用 appengine 来开始这项工作。

注意:相同的代码适用于 beta 版本0.4.150414

编辑 1

根据答案中的建议尝试了以下操作,

  1. 从自动缩放切换到基本缩放。
  2. 二手机器类型B2,提供 256MB 内存

经过这些配置,Java Heap Memory 问题就解决了。但它试图将一个 jar 上传到超过 10Mb 的暂存位置,因此它失败了。

它记录以下异常

com.google.api.client.http.HttpRequest execute: exception thrown while executing request
com.google.appengine.api.urlfetch.RequestPayloadTooLargeException: The request to https://www.googleapis.com/upload/storage/v1/b/pwccloudedw-stagging-bucket/o?name=appengine-api-L4wtoWwoElWmstI1Ia93cg.jar&uploadType=resumable&upload_id=AEnB2Uo6HCfw6Usa3aXlcOzg0g3RawrvuAxWuOUtQxwQdxoyA0cf22LKqno0Gu-hjKGLqXIo8MF2FHR63zTxrSmQ9Yk9HdCdZQ exceeded the 10 MiB limit.
at com.google.appengine.api.urlfetch.URLFetchServiceImpl.convertApplicationException(URLFetchServiceImpl.java:157)
at com.google.appengine.api.urlfetch.URLFetchServiceImpl.fetch(URLFetchServiceImpl.java:45)
at com.google.apphosting.utils.security.urlfetch.URLFetchServiceStreamHandler$Connection.fetchResponse(URLFetchServiceStreamHandler.java:543)
at com.google.apphosting.utils.security.urlfetch.URLFetchServiceStreamHandler$Connection.getInputStream(URLFetchServiceStreamHandler.java:422)
at com.google.apphosting.utils.security.urlfetch.URLFetchServiceStreamHandler$Connection.getResponseCode(URLFetchServiceStreamHandler.java:275)
at com.google.api.client.http.javanet.NetHttpResponse.<init>(NetHttpResponse.java:36)
at com.google.api.client.http.javanet.NetHttpRequest.execute(NetHttpRequest.java:94)
at com.google.api.client.http.HttpRequest.execute(HttpRequest.java:965)
at …
Run Code Online (Sandbox Code Playgroud)

google-bigquery google-cloud-platform google-cloud-dataflow

3
推荐指数
1
解决办法
1465
查看次数

Google Cloud Dataflow 上的内存分析

调试数据流作业的内存问题的最佳方法是什么?

我的工作因 GC OOM 错误而失败,但是当我在本地对其进行分析时,我无法重现确切的场景和数据量。

我现在在“n1-highmem-4”机器上运行它,我再也看不到错误了,但是工作非常慢,所以显然使用具有更多 RAM 的机器不是解决方案:)

感谢您的任何建议,G

google-cloud-dataflow

3
推荐指数
1
解决办法
2399
查看次数

分析云数据流BigQuery吞吐量/流水线

我试图弄清楚DataFlow如何扩展某些操作以及如何使其表现最佳.首先,我创建了一个从BigQuery读取数据的简单流程(大约25M行,总共30GB),一个JSON提取,一个简单的按键组合,然后一个聚合组(每个大约100个元素),另一个转换每个键并将其放回一个新表(~500k行,总共25gb).

总管道执行时间在10-18分钟之间,具体取决于我分配的工人数量或者我使用多核机器等等.我无法在此速度以下加速.我还没有确定确切的阈值,但基本上20个单核或10个四核之间的差异不再可靠地测量.

所以我的问题是如何进一步调查这一点,并找出哪个步骤需要花费大部分时间以及如何改进它.我假设DataFlow本身负责扩展各个步骤并在它们之间进行平衡.但对我来说,现在看到收到的第一条消息和最后一条消息的发送,以及每步的吞吐量随时间变化都会很有趣.这是某种可用的东西,还是我必须自己开始检测和记录?有了这些信息,我将开始基于此优化各个步骤,并可能覆盖DataFlows缩放.

这是正确的方法,还是有更好的方法?

**我的目标时间是将时间缩短到2分钟.

performance stream google-bigquery google-cloud-dataflow

3
推荐指数
1
解决办法
409
查看次数

Cloud Dataflow中的失败工作:启用Dataflow API

我目前正在尝试将Dataflow与Pub/Sub一起使用,但我收到此错误:

工作流程失败.原因:(6e74e8516c0638ca):刷新凭据时出现问题.请检查:1.为您的项目启用了Dataflow API.2.您的项目有一个机器人服务帐户:service- [项目编号] @ dataflow-service-producer-prod.iam.gserviceaccount.com应该可以访问您的项目.如果此帐户未显示在您的项目的"权限"选项卡中,请与Dataflow支持部门联系.

我试图查看API管理器以启用Dataflow API,但我根本找不到Dataflow.我也没有看到机器人服务帐户.

google-cloud-platform google-cloud-dataflow

3
推荐指数
1
解决办法
2246
查看次数

如何在数据流/光束中将PCollection &lt;List &lt;String &gt;&gt;转换为PCollection &lt;String&gt;

我有一个用例,需要T从DoFn 输出多个。所以DoFn函数返回一个PCollection<List<T>>。我想将其转换为PCollection<T>以便稍后在管道中进行过滤,例如:

PCollection<T> filteredT = filterationResult.apply(Filter.byPredicate(p -> p.equals(T) == T));
Run Code Online (Sandbox Code Playgroud)

目前,我能想到的最好的方法是,List<T>从ParDo我KV<String,List<T>>用相同键返回的函数返回每个项目。然后在管道中,我可以执行以下操作以合并结果:

filterationResult.apply("Group", GroupByKey.<String, List<T>>create())
Run Code Online (Sandbox Code Playgroud)

或者可以拨打我c.output(T)从DOFN(这里c是ProcessContext对象传入)多次?

google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
1886
查看次数

数据流模板中的动态bigquery查询

我编写了一个Dataflow作业,当我手动运行它时效果很好。这是相关的部分(为清楚起见,删除了一些验证代码):

parser.add_argument('--end_datetime',
                    dest='end_datetime')
known_args, pipeline_args = parser.parse_known_args(argv)

query = <redacted SQL String with a placeholder for a date>
query = query.replace('#ENDDATETIME#', known_args.end_datetime)

with beam.Pipeline(options=pipeline_options) as p:
    rows = p | 'read query' >> beam.io.Read(beam.io.BigQuerySource(query=query, use_standard_sql=True))
Run Code Online (Sandbox Code Playgroud)

现在,我想创建一个模板并将其安排为以动态ENDDATETIME定期运行。据我了解,为了做到这一点,我需要根据此文档将add_argument更改为add_value_provider_argument:

https://cloud.google.com/dataflow/docs/templates/creating-templates

不幸的是,似乎ValueProvider值在我需要它们时不可用,它们仅在管道内部可用。(如果我在这里错了,请纠正我...)。所以我有点卡住了。

是否有人对如何在Dataflow模板中的查询中获取动态日期有任何建议?

python google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
836
查看次数

如何在apache Beam中使用Pandas?

如何在Apache Beam中实现Pandas?我无法在多个列上执行左联接,并且Pcollections不支持sql查询。甚至Apache Beam文档也没有正确地构建框架。我检查了一下,但是在Apache Beam中找不到任何熊猫实现。谁能将我定向到所需的链接?

join pandas google-cloud-dataflow apache-beam

3
推荐指数
2
解决办法
2607
查看次数

数据流服务帐户无法访问网络默认设置

2018-07-16_04_25_02-6605099454046602382出现此错误时,在没有本地VPC网络的项目中启动Dataflow job()时遇到问题

Workflow failed. Causes: Network default is not accessible to Dataflow
Service account
Run Code Online (Sandbox Code Playgroud)

有一个共享的VPC连接到该项目与网络称为default一个子网default中us-central1-然而,用于运行数据流工作不缝有机会获得它的服务帐户。我已经提供了dataflow-service-producer服务帐户Compute Network User,但没有任何明显的效果。关于如何处理的任何想法?

google-cloud-platform google-cloud-dataflow

3
推荐指数
1
解决办法
2238
查看次数