标签: google-cloud-dataflow

为什么#sideInput()方法在Dataflow beta中从Context移动到ProcessContext

我想知道为什么这个#sideInput()方法移到了ProcessContext课堂?以前我可以在#startBundle()方法中做一些额外的处理并缓存结果.这样做#processElement()听起来效率低下.当然,我可以在将数据传递给视图之前进行预处理,但是仍然需要调用#sideInput()每个元素的开销......

谢谢,G

google-cloud-dataflow

4
推荐指数
1
解决办法
379
查看次数

用于处理多个Pubsub主题的数据流管道设计

我有一个从Pubsub主题读取的管道(按分钟窗口)并将处理结果写入BigQuery.我想让表格按时间分片,以及数据本身的一些键.BigQueryIO确实通过窗口时间戳为shard提供了选项,但我认为它不提供任何选项来通过输入集合本身的某些键对表进行分片.如果我错过了一些替代方案,请告诉我.

为了克服这个问题,(选项1)我选择使用相同的密钥对源Pubsub主题本身进行分片,因此,设置管道以从多个源读取并按照单独的分支处理它们并将每个分支结果写入由窗口分区的BigQuery时间戳似乎有效.我想知道的是,由于Dataflow中的中间处理步骤在我的情况下可以与源或接收器无关(选项2)如果我继续使用它会使管道更有效(在资源和时间方面)单个Pubsub主题并在BigQuery编写步骤之前添加额外的转换以对集合进行分区,然后写入BigQuery.

选项 - 1 +在读取/写入期间在Pubsub上进行较小的加载,因为即使组合的消息可能适合几百KB - 读取步骤和中间处理在单独的管道中完成(对于Dataflow可能效率不高)

选项 - 2 +管道更清洁 - 分区的附加步骤也读取与我们分区数量相同的集合次数 - 但是收集项目和分区本身的数量非常小 - 所以,这不应该是一个更大的问题

我认为选择2在阅读管道设计原则时更有意义,但我仍然想澄清我正在做的是对的.

google-cloud-platform google-cloud-dataflow

4
推荐指数
1
解决办法
1126
查看次数

如何确保DataFlow和Cloud Pub Sub的幂等性?

我很好奇在使用Cloud DataFlow和PubSub时确保幂等性的最佳方法?

我们目前有一个处理和存储MySQL数据库中的记录的系统.我对使用DataFlow进行一些报告感到好奇,但是想了解我需要做些什么才能确保我不会意外地重复计算(或者多次计算)相同的消息.

我的困惑分为两部分,首先确保我只发送一次消息,然后确保我只处理一次.

我的直觉如下:

每当我感兴趣的事件被记录在我们的MySQL数据库中时,将其转换为PubSub消息并将其发布到PubSub.假设成功,记录与MySQL记录一起返回的PubSub id.这样,如果它有一个PubSub ID,我知道我发送了它,我不需要再发送它.如果发布到PubSub失败,那么我知道我需要再次发送它.都好.

但是如果在PubSub写入成功后对MySQL的写入失败,我可能最终会再次向pub sub发布相同的消息,所以我需要在DataFlow端处理这种情况和PubSub发送消息两次的情况(如根据https://cloud.google.com/pubsub/subscriber#guarantees).

处理这个问题的最佳方法是什么?在AppEngine或其他系统中,我会检查数据存储区,看看我创建的新记录是否存在,但我不确定你是如何使用DataFlow的.有没有办法可以轻松实现过滤器来阻止消息被处理两次?或者DataFlow已经处理过了吗?

google-cloud-pubsub google-cloud-dataflow

4
推荐指数
1
解决办法
874
查看次数

在 Dataflow 中将 BigQuery 联合表作为源读取会引发错误

我在 BigQuery 中有一个联合源,它指向 GCS 中的一些 CSV 文件。

当我尝试读取联合 BigQuery 表作为 Dataflow 管道的源时,它会引发以下错误:

    1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator  - Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7414_PLAYGROUND : 400 Bad Request
{
  "code" : 400,
  "errors" : [ {
    "domain" : "global",
    "message" : "Cannot list a table of type EXTERNAL.",
    "reason" : "invalid"
  } ],
  "message" : "Cannot list a table of type EXTERNAL."
}
Run Code Online (Sandbox Code Playgroud)

Dataflow 不支持 BigQuery 中的联合源,还是我做错了什么?我确实知道我可以将 GCS 中的文件直接读取到我的管道中,但TableRow由于应用程序的设计,我更喜欢使用 BigQuery对象。

 PCollection<TableRow> results = pipeline.apply("fed-test", BigQueryIO.Read.from("<project_id>:CPT_7414_PLAYGROUND.Federated_test_dataflow")).apply(ParDo.of(new DoFn<TableRow, …
Run Code Online (Sandbox Code Playgroud)

google-bigquery google-cloud-dataflow

4
推荐指数
2
解决办法
1573
查看次数

编译错误,查找符号,包括Pipeline,PCollection,PipelineOptions等

截至今天,由于错误定位Dataflow SDK for Java中的许多关键类,我正在为现有代码进行构建中断,这些代码曾经正确编译.例如:

[ERROR] /tmp/first-dataflow/src/main/java/com/google/cloud/dataflow/examples/common/DataflowExampleUtils.java:[30,37] cannot find symbol
[ERROR] symbol:   class Pipeline
[ERROR] location: package com.google.cloud.dataflow.sdk
Run Code Online (Sandbox Code Playgroud)

API已更改?

google-cloud-dataflow

4
推荐指数
1
解决办法
278
查看次数

Beam / Dataflow Python:AttributeError:'_UnwindowedValues'对象没有属性'sort'

我正在开发工作流流程,以使用Apache Beam的Python SDK在Google Cloud Dataflow上运行。

在本地运行时,工作流成功完成,没有任何错误,并且数据输出完全符合预期。

当我尝试在Dataflow服务上运行时,它引发以下错误: AttributeError: '_UnwindowedValues' object has no attribute 'sort'

来自以下代码:

class OrderByDate(beam.DoFn):
def process(self, context):
    (k, v) = context.element
    v.sort(key=operator.itemgetter('date'))
    return [(k, v)]
Run Code Online (Sandbox Code Playgroud)

并使用如下标准调用该方法beam.ParDo:

'order_by_dates' >> beam.ParDo(OrderByDate())
Run Code Online (Sandbox Code Playgroud)

(k, v)元组中的数据如下例所示:

('SOME CODE', {'date':'2017-01-01', 'value':1, 'date':'2016-12-14', 'value':4}) 
Run Code Online (Sandbox Code Playgroud)

随着v是日期和值的对象

我尝试过切换到标准lambda函数也会引发相同的错误。

有什么想法为什么它在本地运行与在Dataflow上运行不同?或建议解决。

python google-cloud-dataflow apache-beam

4
推荐指数
1
解决办法
1834
查看次数

如何将Google Cloud SQL与Google Big Query集成

我正在设计一个解决方案,其中Google Cloud SQL将用于存储来自应用程序常规功能的所有数据(OLTP数据的种类).预计数据会随着时间的推移而增长到相当大的规模.数据本身具有关系性,因此我们选择了Cloud SQL而不是Cloud Datastore.

这些数据需要被提供给Big Query进行分析,这需要接近实时分析(作为最佳情况),尽管实际上可以预期一些滞后.但我正在尝试设计一种解决方案,将这种滞后降低到最低限度.

我的问题有3个部分 -

  1. 我应该使用Cloud SQL存储数据,然后将其移至BigQuery或更改基本设计本身,并使用BigQuery初始存储数据吗?BigQuery是否适合用于常规,低延迟的OLTP工作负载?(我不这么认为 - 我的假设是正确的吗?)

  2. 将Cloud SQL数据加载到BigQuery中的推荐/最佳实践是什么?这种集成是否接近实时?

  3. Cloud Dataflow是一个不错的选择吗?如果我将Cloud SQL连接到Cloud DataFlow并进一步连接到BigQuery - 它会起作用吗?或者有没有其他方法可以实现这一目标更好(如问题2中所述)?

google-cloud-sql google-bigquery google-cloud-platform google-cloud-dataflow

4
推荐指数
2
解决办法
3882
查看次数

Beam / Dataflow设计模式可根据数据库查询来丰富文档

评估数据流,并试图找出是否/如何执行以下操作。

我很抱歉,如果上面的内容微不足道,请在我们决定使用Beam或Spark等其他东西之前,先将头绕在Dataflow上。

一般用例用于机器学习:

  • 摄取单独处理的文档。

  • 除了易于编写的转换,我们还要基于对数据库(主要是键值存储)的查询来丰富每个文档。

  • 一个简单的例子是地名词典:将文本分解为ngram,然后检查这些ngram是否驻留在某个数据库中,并记录(在原始文档的转换版本中)给定短语映射到的实体标识符。

如何有效地做到这一点?

天真(尽管可能对序列化要求很棘手?):

每个文档都可以简单地单独查询数据库(类似于通过Google DataFlow Transformer查询关系数据库),但是,鉴于大多数文件都是简单的键值存储,因此似乎应该有一种更有效的方法(鉴于数据库查询延迟的实际问题)。

场景1:已改进?:

当前的稻草人将表存储在Bigquery中,将它们拉下来(https://github.com/apache/beam/blob/master/sdks/python/apache_beam/io/gcp/bigquery.py),然后将它们用作侧面输入,用作每个文档函数中的键值查找。

键值表的范围通常从很小到不大(100 MB,甚至是低GB)。 多个CoGroupByKey具有相同的apache光束(“侧面输入可以任意大-没有限制;我们已经看到使用1 + TB大小的侧面输入成功地运行了管道”)表明这是合理的,至少从POV大小而言。

1)这有意义吗?这是此方案的“正确”设计模式吗?

2)如果这是一个好的设计模式...我该如何实际实现呢?

https://github.com/apache/beam/blob/master/sdks/python/apache_beam/io/gcp/bigquery.py#L53显示将结果作为AsList馈入文档功能。

i)大概,AsDict在这里更适合上述用例?因此,我可能需要首先在Bigquery输出上运行一些转换,以将其分成键,值元组;并确保密钥是唯一的;然后将其用作侧面输入。

ii)然后我需要在函数中使用侧面输入。

我不清楚的是:

  • 对于这两个方面,如何处理Bigquery拉动产生的输出对我来说还是很模糊的。我将如何完成(i)(假设有必要)?意思是,数据格式是什么样的(原始字节?字符串?我可以研究一个很好的例子吗?)

  • 同样,如果AsDict是将其传递给func的正确方法,我是否可以引用通常在python中使用的dict这样的内容?例如,side_input.get('blah')吗?

场景2:进一步改善了吗?(针对特定情况):

  • 上面的场景(如果可以实现的话)肯定确实是高级连续远程调用(考虑到简单的键值查找),这对于我们的某些场景非常有帮助。但是,如果我采用类似地名词典查找的方案(如上)……是否有更优化的解决方案?

像这样,对于每个文档,将我们所有的ngram都写为键,将值作为基础索引(文档中的docid + indices),然后在这些ngram和gazeteer中的短语之间进行某种连接...然后进行另一组转换以恢复原始文档(现在带有新注释)。

即,让Beam直接处理所有联接/查找吗?

从理论上讲,Beam比在每个文档中循环遍历所有ngram并检查ngram是否在side_input中的速度要快得多。

其他关键问题:

3)如果这是做事的好方法,是否有任何技巧可以使它在流媒体情况下正常工作?其他地方的文字表明,在批处理方案之外,侧面输入缓存的工作效果更差。目前,我们专注于批量处理,但是流式传输在提供实时预测方面将变得至关重要。

4)是否有任何与Beam有关的原因可以为上述任何原因选择Java> Python?我们已经有大量现有的Python代码移至Dataflow,因此会非常喜欢Python ...但不确定上面的Python是否存在任何隐藏问题(例如,我注意到Python不支持某些功能或I / O)。

编辑:稻草人?对于示例ngram查找场景(应大力推广到常规K:V查找)

  • 短语=从bigquery获取
  • Docs(由docid编制索引)(例如,来自文本或protobufs的直接输入)
  • 转换:词组->(短语,实体)元组
  • 转换:docs-> ngrams(短语,docid,坐标[在文档中])
  • CoGroupByKey key =短语:(短语,实体,docid,coords)
  • CoGroupByKey key = docid,group((短语,实体,docid,coords),Docs)
  • 然后,我们可以使用(短语,实体,docid,coords)和每个文档的集合来迭代地完成每个文档

google-cloud-dataflow apache-beam

4
推荐指数
1
解决办法
1023
查看次数

将凭据发送到Google Dataflow作业

将凭证传递给Dataflow作业的正确方法是什么?

我的某些Dataflow作业需要凭据才能进行REST调用以及获取/后处理数据。

我目前正在使用环境变量将凭据传递给JVM,将它们读入Serializable对象,然后将其传递给DoFn实现的构造函数。我不确定这是正确的方法,因为任何可序列化的类都不应包含敏感信息。

我想到的另一种方法是将凭据存储在GCS中,并使用服务帐户密钥文件检索它们,但是想知道为什么我的工作应该执行从GCS读取凭据的任务。

google-cloud-platform google-cloud-dataflow

4
推荐指数
1
解决办法
550
查看次数

从DynamoDB迁移到Spanner / BigTable

我有一个用例,需要将70 TB的数据从DynamoDB迁移到BigTable和Spanner。具有单个索引的表将进入BigTable,否则将进入Spanner。

通过将数据导出到S3-> GCS-> Spanner / BigTable,可以轻松处理历史负载。但是具有挑战性的部分是要处理DynamoDB上同时发生的增量流负载。DynamoDB中有300个表。

如何以最好的方式处理这件事?有人做过吗?

amazon-dynamodb google-cloud-dataflow google-cloud-bigtable apache-beam google-cloud-spanner

4
推荐指数
1
解决办法
64
查看次数