小编ash*_*arg的帖子

如何将DataFrame转换为Json?

我有一个巨大的Json文件,其中一小部分如下:

{
    "socialNews": [{
        "adminTagIds": "",
        "fileIds": "",
        "departmentTagIds": "",
        ........
        ........
        "comments": [{
            "commentId": "",
            "newsId": "",
            "entityId": "",
            ....
            ....
        }]
    }]
    .....
    }
Run Code Online (Sandbox Code Playgroud)

我在社交新闻中应用了侧视图片段如下:

val rdd = sqlContext.jsonFile("file:///home/ashish/test")
rdd.registerTempTable("social")
val result = sqlContext.sql("select * from social LATERAL VIEW explode(socialNews) social AS comment")
Run Code Online (Sandbox Code Playgroud)

现在我想将此结果(DataFrame)转换回json并保存到文件中,但我无法找到任何scala api进行转换.是否有任何标准库可以做到这一点或某种方式来解决它?

json scala apache-spark apache-spark-sql

17
推荐指数
3
解决办法
5万
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

json ×1

scala ×1