小编chi*_*hna的帖子

Spark数据帧中两行之间的差异

我通过groupby column1和date在Spark中创建了一个数据框,并计算了数量.

val table = df1.groupBy($"column1",$"date").sum("amount")
Run Code Online (Sandbox Code Playgroud)
Column1 |Date   |Amount
A   |1-jul  |1000
A   |1-june |2000
A   |1-May  |2000
A   |1-dec  |3000
A   |1-Nov  |2000
B   |1-jul  |100
B   |1-june |300    
B   |1-May  |400
B   |1-dec  |300
Run Code Online (Sandbox Code Playgroud)

现在,我想添加新列,表中任意两个日期的数量之间存在差异.

scala apache-spark apache-spark-sql

3
推荐指数
2
解决办法
5946
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

scala ×1