小编sta*_*nly的帖子

Spark Scala,如何检查数据框中是否存在嵌套列

我正在从具有嵌套列 ( struct) 的镶木地板文件中读取数据框。如何检查嵌套列是否存在?

可能是这样的

+----------------------+
| column1              |
+----------------------+
|{a_id:[1], b_id:[1,2]}|
+----------------------+
Run Code Online (Sandbox Code Playgroud)

或者像这样

+---------------------+
| column1             |
+---------------------+
|{a_id:[3,5]}         |
+---------------------+
Run Code Online (Sandbox Code Playgroud)

我知道,如何检查顶级列是否存在,如这里所回答:How do I detection if a Spark DataFrame has a column

df.schema.fieldNames.contains("column_name")
Run Code Online (Sandbox Code Playgroud)

但是如何检查嵌套列?

schema scala apache-spark parquet

5
推荐指数
1
解决办法
2419
查看次数

标签 统计

apache-spark ×1

parquet ×1

scala ×1

schema ×1