小编fin*_*man的帖子

Spark:使用Scala在reduceByKey中的值的平均值而不是sum

调用reduceByKey时,它会使用相同的键对所有值求和.有没有办法计算每个键的平均值?

// I calculate the sum like this and don't know how to calculate the avg
reduceByKey((x,y)=>(x+y)).collect


Array(((Type1,1),4.0), ((Type1,1),9.2), ((Type1,2),8), ((Type1,2),4.5), ((Type1,3),3.5), 
((Type1,3),5.0), ((Type2,1),4.6), ((Type2,1),4), ((Type2,1),10), ((Type2,1),4.3))
Run Code Online (Sandbox Code Playgroud)

scala apache-spark

5
推荐指数
1
解决办法
1万
查看次数

标签 统计

apache-spark ×1

scala ×1