从spark scala中的多个行文件中读取JSON文件

Question

我在斯卡拉学习火花.我有一个JSON文件如下:

[
  {
    "name": "ali",
    "age": "13",
    "phone": "09123455737",
    "sex": "m"
  },{
    "name": "amir",
    "age": "24",
    "phone": "09123475737",
    "sex": "m"
  }
]

并且只有这个代码:

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val jsonFile = sqlContext.read.json("path-to-json-file")

corrupted_row : String除了把每个人(或对象)放在一行之外,我只收到其他任何东西,代码工作正常

如何在spark中读取多行代码中的JSON sqlContext？

Answer 1

您必须自己将其读入RDD,然后将其转换为数据集:

spark.read.json(sparkContext.wholeTextFiles(...).values)