标签: google-cloud-dataflow

如何使用在数据流执行期间计算出的架构写入BigQuery?

我有以下情况:

  1. 管道A在BigQuery中查找表A,进行一些计算并返回列名列表。
  2. 此列名称列表用作管道B输出的BigQuery架构。

您能否让我知道实现此目标的最佳选择是什么?

管道A可以使用TextIO将列名列表写入临时文件或暂存位置文件中,然后由管道执行器读取以定义管道B的架构。如果这种方法看起来不错,请告诉我是否存在数据流实用程序,用于从临时位置或暂存位置或是否应使用GCS API读取文件。

google-cloud-dataflow

4
推荐指数
1
解决办法
1617
查看次数

如何确保DataFlow和Cloud Pub Sub的幂等性?

我很好奇在使用Cloud DataFlow和PubSub时确保幂等性的最佳方法?

我们目前有一个处理和存储MySQL数据库中的记录的系统.我对使用DataFlow进行一些报告感到好奇,但是想了解我需要做些什么才能确保我不会意外地重复计算(或者多次计算)相同的消息.

我的困惑分为两部分,首先确保我只发送一次消息,然后确保我只处理一次.

我的直觉如下:

每当我感兴趣的事件被记录在我们的MySQL数据库中时,将其转换为PubSub消息并将其发布到PubSub.假设成功,记录与MySQL记录一起返回的PubSub id.这样,如果它有一个PubSub ID,我知道我发送了它,我不需要再发送它.如果发布到PubSub失败,那么我知道我需要再次发送它.都好.

但是如果在PubSub写入成功后对MySQL的写入失败,我可能最终会再次向pub sub发布相同的消息,所以我需要在DataFlow端处理这种情况和PubSub发送消息两次的情况(如根据https://cloud.google.com/pubsub/subscriber#guarantees).

处理这个问题的最佳方法是什么?在AppEngine或其他系统中,我会检查数据存储区,看看我创建的新记录是否存在,但我不确定你是如何使用DataFlow的.有没有办法可以轻松实现过滤器来阻止消息被处理两次?或者DataFlow已经处理过了吗?

google-cloud-pubsub google-cloud-dataflow

4
推荐指数
1
解决办法
874
查看次数

Beam / Dataflow Python:AttributeError:'_UnwindowedValues'对象没有属性'sort'

我正在开发工作流流程,以使用Apache Beam的Python SDK在Google Cloud Dataflow上运行。

在本地运行时,工作流成功完成,没有任何错误,并且数据输出完全符合预期。

当我尝试在Dataflow服务上运行时,它引发以下错误: AttributeError: '_UnwindowedValues' object has no attribute 'sort'

来自以下代码:

class OrderByDate(beam.DoFn):
def process(self, context):
    (k, v) = context.element
    v.sort(key=operator.itemgetter('date'))
    return [(k, v)]
Run Code Online (Sandbox Code Playgroud)

并使用如下标准调用该方法beam.ParDo:

'order_by_dates' >> beam.ParDo(OrderByDate())
Run Code Online (Sandbox Code Playgroud)

(k, v)元组中的数据如下例所示:

('SOME CODE', {'date':'2017-01-01', 'value':1, 'date':'2016-12-14', 'value':4}) 
Run Code Online (Sandbox Code Playgroud)

随着v是日期和值的对象

我尝试过切换到标准lambda函数也会引发相同的错误。

有什么想法为什么它在本地运行与在Dataflow上运行不同?或建议解决。

python google-cloud-dataflow apache-beam

4
推荐指数
1
解决办法
1834
查看次数

无法使用Java Bigquery Client API在BigQuery中写日期

我正在从GCS的CSV文件到BQ进行一些ETL,除日期外,其他一切都正常。我表中的字段名称为TEST_TIME,类型为DATE,因此在TableRow中,我尝试传递java.util.Date,com.google.api.client.util.DateTime,String,带数字的Long值。秒钟,但没有一个起作用。
我收到如下错误消息:无法将非字符串JSON值转换为DATE类型。栏位:TEST_TIME;值:...
使用DateTime时,出现以下错误:为非记录字段TEST_TIME指定了JSON对象。

//tableRow.set("TEST_TIME", date);
//tableRow.set("TEST_TIME", new DateTime(date));
//tableRow.set("TEST_TIME", date.getTime()/1000);
//tableRow.set("TEST_TIME", dateFormatter.format(date)); //e.g. 05/06/2016
Run Code Online (Sandbox Code Playgroud)

google-cloud-storage google-bigquery google-cloud-dataflow

4
推荐指数
2
解决办法
1587
查看次数

Apache的ParDo与FlatMap相比?

有没有之间的差异ParDo,并FlatMap在数据流/ Apache的梁?

我认为两者都将一个函数应用于传入的每个元素PCollection,并返回迭代; 但我想必须有一些区别?

google-cloud-dataflow apache-beam

4
推荐指数
1
解决办法
2564
查看次数

如何将Google Cloud SQL与Google Big Query集成

我正在设计一个解决方案,其中Google Cloud SQL将用于存储来自应用程序常规功能的所有数据(OLTP数据的种类).预计数据会随着时间的推移而增长到相当大的规模.数据本身具有关系性,因此我们选择了Cloud SQL而不是Cloud Datastore.

这些数据需要被提供给Big Query进行分析,这需要接近实时分析(作为最佳情况),尽管实际上可以预期一些滞后.但我正在尝试设计一种解决方案,将这种滞后降低到最低限度.

我的问题有3个部分 -

  1. 我应该使用Cloud SQL存储数据,然后将其移至BigQuery或更改基本设计本身,并使用BigQuery初始存储数据吗?BigQuery是否适合用于常规,低延迟的OLTP工作负载?(我不这么认为 - 我的假设是正确的吗?)

  2. 将Cloud SQL数据加载到BigQuery中的推荐/最佳实践是什么?这种集成是否接近实时?

  3. Cloud Dataflow是一个不错的选择吗?如果我将Cloud SQL连接到Cloud DataFlow并进一步连接到BigQuery - 它会起作用吗?或者有没有其他方法可以实现这一目标更好(如问题2中所述)?

google-cloud-sql google-bigquery google-cloud-platform google-cloud-dataflow

4
推荐指数
2
解决办法
3882
查看次数

Beam / Dataflow设计模式可根据数据库查询来丰富文档

评估数据流,并试图找出是否/如何执行以下操作。

我很抱歉,如果上面的内容微不足道,请在我们决定使用Beam或Spark等其他东西之前,先将头绕在Dataflow上。

一般用例用于机器学习:

  • 摄取单独处理的文档。

  • 除了易于编写的转换,我们还要基于对数据库(主要是键值存储)的查询来丰富每个文档。

  • 一个简单的例子是地名词典:将文本分解为ngram,然后检查这些ngram是否驻留在某个数据库中,并记录(在原始文档的转换版本中)给定短语映射到的实体标识符。

如何有效地做到这一点?

天真(尽管可能对序列化要求很棘手?):

每个文档都可以简单地单独查询数据库(类似于通过Google DataFlow Transformer查询关系数据库),但是,鉴于大多数文件都是简单的键值存储,因此似乎应该有一种更有效的方法(鉴于数据库查询延迟的实际问题)。

场景1:已改进?:

当前的稻草人将表存储在Bigquery中,将它们拉下来(https://github.com/apache/beam/blob/master/sdks/python/apache_beam/io/gcp/bigquery.py),然后将它们用作侧面输入,用作每个文档函数中的键值查找。

键值表的范围通常从很小到不大(100 MB,甚至是低GB)。 多个CoGroupByKey具有相同的apache光束(“侧面输入可以任意大-没有限制;我们已经看到使用1 + TB大小的侧面输入成功地运行了管道”)表明这是合理的,至少从POV大小而言。

1)这有意义吗?这是此方案的“正确”设计模式吗?

2)如果这是一个好的设计模式...我该如何实际实现呢?

https://github.com/apache/beam/blob/master/sdks/python/apache_beam/io/gcp/bigquery.py#L53显示将结果作为AsList馈入文档功能。

i)大概,AsDict在这里更适合上述用例?因此,我可能需要首先在Bigquery输出上运行一些转换,以将其分成键,值元组;并确保密钥是唯一的;然后将其用作侧面输入。

ii)然后我需要在函数中使用侧面输入。

我不清楚的是:

  • 对于这两个方面,如何处理Bigquery拉动产生的输出对我来说还是很模糊的。我将如何完成(i)(假设有必要)?意思是,数据格式是什么样的(原始字节?字符串?我可以研究一个很好的例子吗?)

  • 同样,如果AsDict是将其传递给func的正确方法,我是否可以引用通常在python中使用的dict这样的内容?例如,side_input.get('blah')吗?

场景2:进一步改善了吗?(针对特定情况):

  • 上面的场景(如果可以实现的话)肯定确实是高级连续远程调用(考虑到简单的键值查找),这对于我们的某些场景非常有帮助。但是,如果我采用类似地名词典查找的方案(如上)……是否有更优化的解决方案?

像这样,对于每个文档,将我们所有的ngram都写为键,将值作为基础索引(文档中的docid + indices),然后在这些ngram和gazeteer中的短语之间进行某种连接...然后进行另一组转换以恢复原始文档(现在带有新注释)。

即,让Beam直接处理所有联接/查找吗?

从理论上讲,Beam比在每个文档中循环遍历所有ngram并检查ngram是否在side_input中的速度要快得多。

其他关键问题:

3)如果这是做事的好方法,是否有任何技巧可以使它在流媒体情况下正常工作?其他地方的文字表明,在批处理方案之外,侧面输入缓存的工作效果更差。目前,我们专注于批量处理,但是流式传输在提供实时预测方面将变得至关重要。

4)是否有任何与Beam有关的原因可以为上述任何原因选择Java> Python?我们已经有大量现有的Python代码移至Dataflow,因此会非常喜欢Python ...但不确定上面的Python是否存在任何隐藏问题(例如,我注意到Python不支持某些功能或I / O)。

编辑:稻草人?对于示例ngram查找场景(应大力推广到常规K:V查找)

  • 短语=从bigquery获取
  • Docs(由docid编制索引)(例如,来自文本或protobufs的直接输入)
  • 转换:词组->(短语,实体)元组
  • 转换:docs-> ngrams(短语,docid,坐标[在文档中])
  • CoGroupByKey key =短语:(短语,实体,docid,coords)
  • CoGroupByKey key = docid,group((短语,实体,docid,coords),Docs)
  • 然后,我们可以使用(短语,实体,docid,coords)和每个文档的集合来迭代地完成每个文档

google-cloud-dataflow apache-beam

4
推荐指数
1
解决办法
1023
查看次数

java.lang.IllegalStateException:无法在数据流2.X中返回默认编码器

我在dataflow 2.1 sdk中有一个简单的管道.从pubsub读取数据然后将DoFn应用于它.

PCollection<MyClass> e = streamData.apply("ToE", ParDo.of(new MyDoFNClass()));
Run Code Online (Sandbox Code Playgroud)

在此管道上获得以下错误:

java.lang.IllegalStateException:无法返回ToEvents/ParMultiDo(MyDoFNClass).out0 [PCollection]的默认编码器.更正以下根本原因之一:未手动指定编码器; 你可以使用.setCoder()来完成.从CoderRegistry推断编码器失败:无法为com.XXmodel.MyClass提供编码器.

MyDoFn类如下:

@DefaultCoder(AvroCoder.class)

public class MyClass{

    public long id;
    public HashMap<String,HashSet<String>> a;

    @SerializedName("a")
    public Integer Id;
    @SerializedName("ae")
    public String ae;
}
Run Code Online (Sandbox Code Playgroud)

java google-cloud-dataflow apache-beam

4
推荐指数
1
解决办法
2422
查看次数

将凭据发送到Google Dataflow作业

将凭证传递给Dataflow作业的正确方法是什么?

我的某些Dataflow作业需要凭据才能进行REST调用以及获取/后处理数据。

我目前正在使用环境变量将凭据传递给JVM,将它们读入Serializable对象,然后将其传递给DoFn实现的构造函数。我不确定这是正确的方法,因为任何可序列化的类都不应包含敏感信息。

我想到的另一种方法是将凭据存储在GCS中,并使用服务帐户密钥文件检索它们,但是想知道为什么我的工作应该执行从GCS读取凭据的任务。

google-cloud-platform google-cloud-dataflow

4
推荐指数
1
解决办法
550
查看次数

移动数据时,Dataflow通过云功能带来的好处?

我对GCP比较陌生,只是开始在GCP上设置/评估我的组织架构.

场景:
数据将流入pub/sub主题(高频率,低数据量).目标是将数据移至Big Table.根据我的理解,您可以通过触发主题或使用Dataflow实现云功能.

现在我有以前的云功能经验,我很满意,所以这将是我的选择.

我没有看到选择一个优于另一个的好处.所以我的问题是何时选择这些产品?

谢谢

google-cloud-platform google-cloud-pubsub google-cloud-dataflow google-cloud-functions

4
推荐指数
2
解决办法
2258
查看次数