小编Cla*_*zes的帖子

Apache Spark:将带有JSON字符串的列转换为Scala spark中的新Dataframe

我有一个带有字符串类型列的DataFrame,这个字符串是JSON格式,我想根据这个JSON格式将此列转换为多个列.如果我有JSON模式,我可以做到,但我没有.

示例:

原始数据帧:

---------------------
|        json_string|
---------------------
|{"a":2,"b":"hello"}|
|   {"a":1,"b":"hi"}|
---------------------
Run Code Online (Sandbox Code Playgroud)

转换/解析后

--------------
|  a |     b |
--------------
|  2 |  hello|
|  1 |     hi|
--------------
Run Code Online (Sandbox Code Playgroud)

我使用的是Apache Spark 2.1.1.

json scala apache-spark apache-spark-sql

3
推荐指数
1
解决办法
4762
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

json ×1

scala ×1