小编Lea*_*ner的帖子

收合Spark DataFrame

我在Scala中使用Spark。在Spark版本1.5中,我正在尝试将具有名称值组合的输入数据框转换为新的数据框,在该数据框中,所有名称都将转换为列和值作为行。

I / P数据帧:

ID  Name    Value  
1   Country US  
2   Country US  
2   State   NY  
3   Country UK  
4   Country India  
4   State   MH  
5   Country US  
5   State   NJ  
5   County  Hudson  
Run Code Online (Sandbox Code Playgroud)

在此处链接以获取图像

转置的DataFrame

ID  Country State   County  
1   US      NULL    NULL  
2   US      NY      NULL  
3   UK      NULL    NULL  
4   India   MH      NULL  
5   US      NJ      Hudson  
Run Code Online (Sandbox Code Playgroud)

链接到转置后的图像
似乎在这种用例中像数据透视一样会有所帮助,但spark 1.5.x版本不支持此功能。

有指针/帮助吗?

pivot scala dataframe apache-spark apache-spark-sql

5
推荐指数
1
解决办法
1068
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

dataframe ×1

pivot ×1

scala ×1