小编Use*_*rrr的帖子

如何在RDD [(String,Int)]上的saveAsTextFile时删除记录周围的括号?

我正在使用saveAsTextFile(path)以便将输出保存为文本文件,以便将结果导入DB.输出看起来像这样:

(value1, value2)
Run Code Online (Sandbox Code Playgroud)

如何删除括号?

scala apache-spark

10
推荐指数
2
解决办法
7168
查看次数

每个密钥的聚合RDD值

我在密钥,值结构中有RDD(someKey,(measure1,measure2)).我按键分组,现在我想聚合每个键的值.

val RDD1 : RDD[(String,(Int,Int))]
RDD1.groupByKey()
Run Code Online (Sandbox Code Playgroud)

我需要的结果是:

key: avg(measure1), avg(measure2), max(measure1), max(measure2), min(measure1), min(measure2), count(*)
Run Code Online (Sandbox Code Playgroud)

scala aggregate-functions apache-spark rdd

1
推荐指数
1
解决办法
2865
查看次数

标签 统计

apache-spark ×2

scala ×2

aggregate-functions ×1

rdd ×1