移动数据时,Dataflow通过云功能带来的好处？

Question

我对GCP比较陌生,只是开始在GCP上设置/评估我的组织架构.

场景:
数据将流入pub/sub主题(高频率,低数据量).目标是将数据移至Big Table.根据我的理解,您可以通过触发主题或使用Dataflow实现云功能.

现在我有以前的云功能经验,我很满意,所以这将是我的选择.

我没有看到选择一个优于另一个的好处.所以我的问题是何时选择这些产品？

谢谢

Answer 1

您的需求听起来相对简单，而 Dataflow 可能对您尝试做的事情有些过分。如果云功能满足您的需求，他们可能会坚持下去。我经常发现，在可维护性方面，简单性是关键。

但是，当您需要在将这些事件存储到 BigTable 之前执行转换（例如按用户合并这些事件）时，这就是 Dataflow 真正发挥作用的地方：

https://beam.apache.org/documentation/programming-guide/#groupbykey

Answer 2

两种解决方案都可行.如果您的发布/订阅流量增长到大量数据,数据流将更好地扩展,但云功能应该适用于少量数据; 我会查看此页面(尤其是速率限制部分)以确保您符合云功能:https://cloud.google.com/functions/quotas

另一件需要考虑的事情是,Dataflow可以保证一次性处理您的数据,因此BigTable中不会出现重复数据.Cloud Functions不会为您提供开箱即用的功能.如果您使用函数方法,那么您将需要确保Pub/Sub消息始终确定写入哪个BigTable单元格; 这样,如果函数多次重试,相同的数据将简单地覆盖相同的BigTable单元格.