Dataprep 与 Dataflow 与 Dataproc

Rya*_*uan 4 google-cloud-platform google-cloud-dataflow google-cloud-dataproc google-cloud-dataprep

要执行源数据准备、数据转换或数据清理,我们应该在什么场景下使用 Dataprep、Dataflow 和 Dataproc?

Lef*_*s S 5

数据准备/转换/清理任务都可以看作是 ETL 过程,可以使用您提到的任何产品来实现。这个较旧的答案涵盖了 Dataflow 与 Dataproc 问题的基础知识,并包含链接,链接总结了在这三者之间进行选择时应牢记的内容。

简而言之,您应该考虑熟悉程度(您是否已经使用过 Hadoop 生态系统工具?束编程模型?您更愿意通过 UI 工作吗?)和所需的控制级别(dataproc 允许对集群进行更多控制,数据流和数据准备是完全托管的服务)。

更多好读物:


归档时间:

查看次数:

9986 次

最近记录:

4 年,11 月 前