小编Kum*_*mar的帖子

如何在一个字符串中读取整个文件

我想在pyspark.lf中读取json或xml文件,我的文件被分成多行

rdd= sc.textFIle(json or xml) 
Run Code Online (Sandbox Code Playgroud)

输入

{
" employees":
[
 {
 "firstName":"John",
 "lastName":"Doe" 
},
 { 
"firstName":"Anna"
  ]
}
Run Code Online (Sandbox Code Playgroud)

输入分布在多条线上.

预期产出 {"employees:[{"firstName:"John",......]}

如何使用pyspark在一行中获取完整的文件?

请帮助我,我是新来的火花.

apache-spark apache-spark-sql

8
推荐指数
4
解决办法
1万
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1