Apache的ParDo与FlatMap相比?

Max*_*ian 4 google-cloud-dataflow apache-beam

有没有之间的差异ParDo,并FlatMap在数据流/ Apache的梁?

我认为两者都将一个函数应用于传入的每个元素PCollection,并返回迭代; 但我想必须有一些区别?

Ken*_*les 7

FlatMap是一个更简单的操作,就像你期望的那样ParDo.如果这符合您的需求,那么这是一个不错的选择.

ParDo是元素计算的低级构建块,具有附加功能,如侧输入,多输出集合,对当前窗口的访问,一些用于启动和提交元素束的低级回调等等.

在实践中,许多使用FlatMapParDo最终使用类似的代码批量,但在我看来,使用最简单(最高级别)的转换是最可读的.