小编evg*_*nii的帖子

Spark DataFrame嵌套结构是否仅限于选择?

我有一个带有一些数据的json文件,我能够从中创建DataFrame,并且我感兴趣的特定部分的模式如下所示:

val json: DataFrame = sqlc.load("entities_with_address2.json", "json")

root
 |-- attributes: struct (nullable = true)
 |    |-- Address2: array (nullable = true)
 |    |    |-- value: struct (nullable = true)
 |    |    |    |-- Zip: array (nullable = true)
 |    |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |    |-- value: struct (nullable = true)
 |    |    |    |    |    |    |-- Zip5: array (nullable = true)
 |    |    |    |    |    |    |    |-- element: …
Run Code Online (Sandbox Code Playgroud)

apache-spark apache-spark-sql

21
推荐指数
1
解决办法
2万
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1