Spark - 使用ReduceByKey以最佳方式聚合两个值

Question

使用Spark,我有一对RDD[(String, (Int, Int)].我试图找到每个键显示多个总和的最佳方法(在这种情况下,每个Int单独显示的总和).我想这样做reduceByKey.

这可能吗？

Answer 1

当然.

val rdd = sc.parallelize(Array(("foo", (1, 10)), ("foo", (2, 2)), ("bar", (5, 5))))
val res = rdd.reduceByKey((p1, p2) => (p1._1 + p2._1, p1._2 + p2._2))
res.collect()