如何使用Apache Spark将JSON文件转换为镶木地板？

Question

我是Apache Spark 1.3.1的新手.如何将JSON文件转换为Parquet？

Answer 1

Spark 1.4及更高版本

您可以使用sparkSQL首先将JSON文件读入DataFrame,然后将DataFrame写为镶木地板文件.

val df = sqlContext.read.json("path/to/json/file")
df.write.parquet("path/to/parquet/file")

要么

df.save("path/to/parquet/file", "parquet")

点击此处和此处查看示例和更多详细信息.

Spark 1.3.1

val df = sqlContext.jsonFile("path/to/json/file")
df.saveAsParquetFile("path/to/parquet/file")

与Windows和Spark 1.3.1相关的问题

保存数据帧作为Windows拼花文件将抛出java.lang.NullPointerException,如所描述这里.

在这种情况下,请考虑升级到更新的Spark版本.