epi*_*ong 4 python division bigdata apache-spark rdd
我在spark中有这两个键值RDD:
rdd1 = [(u'Key1', 4), (u'Key2', 6), (u'Key3', 10)]
rdd2 = [(u'Key1', 4), (u'Key2', 3), (u'Key3', 2)]
Run Code Online (Sandbox Code Playgroud)
我在寻找spark函数来获取值的除法:(rdd3 =(rdd1 / rdd2))
在这种情况下:
rdd3 = [(u'Key1', 1), (u'Key2', 2), (u'Key3', 5)]
Run Code Online (Sandbox Code Playgroud)
小智 5
您可以join和mapValues:
rdd1.join(rdd2).mapValues(lambda x: x[0] / x[1])
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
878 次 |
| 最近记录: |