如何在PySpark groupByKey()中的迭代器中对值求和

Question

我在Spark(Python)上做了我的第一步,我正在努力使用一个迭代器groupByKey().我无法对值进行求和:我的代码如下所示:

example = sc.parallelize([('x',1), ('x',1), ('y', 1), ('z', 1)])

example.groupByKey()

x [1,1]
y [1]
z [1]

如何获得总和Iterator？我尝试了类似下面的东西,但它不起作用

example.groupByKey().map(lambda (x,iterator) : (x,sum(iterator))
example.groupByKey().map(lambda (x,iterator) : (x,list(sum(iterator)))

Answer 1

你可以简单地mapValues用sum:

example.groupByKey().mapValues(sum)

虽然在这种特殊情况下reduceByKey效率更高:

example.reduceByKey(lambda x, y: x + y)

要么

from operator import add

example.reduceByKey(add)