小编Tom*_*ena的帖子

为什么Spark需要折叠动作?

我有一个涉及fold和减少的愚蠢问题PySpark.我理解这两种方法之间的区别,但是,如果两者都需要应用函数是一个可交换的monoid,我无法弄清楚fold cannot be substituted byreduce`的一个例子.

另外,在fold使用它的PySpark实现中acc = op(obj, acc),为什么使用这个操作顺序而不是acc = op(acc, obj)?(这个第二顺序leftFold对我来说听起来更加封闭)

干杯

托马斯

reduce fold apache-spark rdd pyspark

4
推荐指数
1
解决办法
2135
查看次数

标签 统计

apache-spark ×1

fold ×1

pyspark ×1

rdd ×1

reduce ×1