在Apache Spark中读取多行JSON

Question

我试图将JSON文件用作小型数据库.在DataFrame上创建模板表后,我用SQL查询它并获得异常.这是我的代码:

val df = sqlCtx.read.json("/path/to/user.json")
df.registerTempTable("user_tt")

val info = sqlCtx.sql("SELECT name FROM user_tt")
info.show()

df.printSchema() 结果:

root
 |-- _corrupt_record: string (nullable = true)

我的JSON文件:

{
  "id": 1,
  "name": "Morty",
  "age": 21
}

Exeption:

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'name' given input columns: [_corrupt_record];

我该如何解决？

UPD

_corrupt_record 是

+--------------------+
|     _corrupt_record|
+--------------------+
|                   {|
|            "id": 1,|
|    "name": "Morty",|
|           "age": 21|
|                   }|
+--------------------+

UPD2

这很奇怪,但是当我重写我的JSON以使其成为oneliner时,一切正常.

{"id": 1, "name": "Morty", "age": 21}

所以问题在于newline.

UPD3

我在文档中找到了下一句话:

请注意,作为json文件提供的文件不是典型的JSON文件.每行必须包含一个单独的,自包含的有效JSON对象.因此,常规的多行JSON文件通常会失败.

将JSON保持为这种格式并不方便.是否有任何解决方法可以摆脱JSON的多线结构或将其转换为oneliner？

Answer 1

Spark> = 2.2

Spark 2.2引入了可用于加载JSON(而不是JSONL)文件的选项:wholeFile multiLine

spark.read
  .option("multiLine", true).option("mode", "PERMISSIVE")
  .json("/path/to/user.json")

看到:

• SPARK-18352 - 解析普通的多行JSON文件(不仅仅是JSON行).
• SPARK-20980 - 重命名选项wholeFile来multiLine对JSON和CSV.

Spark <2.2

好吧,使用JSONL格式化数据可能不方便但我认为这不是API的问题,而是格式本身.JSON根本不是为在分布式系统中并行处理而设计的.

它没有提供架构,也没有对其格式和形状做出一些非常具体的假设,几乎不可能正确识别顶级文档.可以说这是想象在Apache Spark等系统中使用的最糟糕的格式.在分布式系统中编写有效的JSON也非常棘手并且通常是不切实际的.

话虽这么说,如果单个文件是有效的JSON文档(单个文档或文档数组),您可以尝试wholeTextFiles:

spark.read.json(sc.wholeTextFiles("/path/to/user.json").values())

Answer 2

只是为了补充zero323的答案，Spark 2.2+中用于读取多行JSON的选项已重命名为multiLine（请参见此处的Spark文档）。

因此，现在正确的语法为：

spark.read
  .option("multiLine", true).option("mode", "PERMISSIVE")
  .json("/path/to/user.json")

这发生在https://issues.apache.org/jira/browse/SPARK-20980中。