Bal*_*raj 3 java scala apache-spark rdd
我知道RDD的窄变换和宽变换之间的区别.我的问题是哪些参数可以证明map,flatmap是窄的？为什么这些转变不广泛？有关RDD学习材料的任何建议表示赞赏.
Dav*_*vid 7
这是一个解释
- 狭义依赖:RDD操作(如map,union,filter)可以在单个分区上运行,并将该分区的数据映射到生成的单个分区.将数据从一个分区映射到一个分区的这种操作称为窄操作.狭窄的操作不需要跨分区分发数据. - 广泛的依赖性:像groupByKey,distinct,join这样的RDD操作可能需要在新的RDD中跨分区映射数据.将数据从一个分区映射到多个分区的这种操作称为宽操作
- 狭义依赖:RDD操作(如map,union,filter)可以在单个分区上运行,并将该分区的数据映射到生成的单个分区.将数据从一个分区映射到一个分区的这种操作称为窄操作.狭窄的操作不需要跨分区分发数据.
- 广泛的依赖性:像groupByKey,distinct,join这样的RDD操作可能需要在新的RDD中跨分区映射数据.将数据从一个分区映射到多个分区的这种操作称为宽操作
想到它的另一种方法是这样.子RDD的任何行仅取决于父RDD的1行.由于每个子行都可以指向它所依赖的1父行,因此存在一个狭窄的依赖关系.
归档时间：
9 年，6 月 前
查看次数：
2065 次
最近记录：
8 年，8 月 前