在SPARK上将JSON对象转换为DataFrame

Question

我在IBM Bluemix上的Apache Spark上使用Python笔记本获得了JSON格式的推文流.我想将JSON对象转换为数据帧.我发现最接近的是:

json_obj = {"tweet": "hey man", "name": "Alan"} #mock example

tweetsDF = sqlContext.read.json("file path")

现在,我不想加载文件.我只想把那个JSON变量转换成数据帧格式.这样我就可以将它应用于tweets变量.知道怎么做吗？谢谢!

Answer 1

首先将JSON对象转换为RDD [String],然后应用`sqlContext.read.json'.这是Scala中的示例代码

val json_obj = sc.parallelize(Array("""{"tweet": "hey man", "name": "Alan"}""", """{"tweet": "what's up", "name": "Bertha"}"""))
val tweetsDF = sqlContext.read.json(json_obj)
tweetsDF.show()
//+------+---------+
//|  name|    tweet|
//+------+---------+
//|  Alan|  hey man|
//|Bertha|what's up|
//+------+---------+