有什么区别
reduce(lambda x,y: x.union(y), myRDDlist)
它调用RDD.union和
sc.union(myRDDlist)
哪个调用SparkContext.union？
他们编译成相同的代码吗？
小智 7
如果你有两个RDD,SparkContext.union和RDD.union是等价的.
减少RDD列表并调用RDD.union将导致多个嵌套的UnionRDD(彼此引用),其中对SparkContext.union的调用将仅导致单个UnionRDD.
| 归档时间： |
|
| 查看次数： |
4164 次 |
| 最近记录： |