我正在从具有嵌套列 ( struct) 的镶木地板文件中读取数据框。如何检查嵌套列是否存在?
可能是这样的
+----------------------+
| column1 |
+----------------------+
|{a_id:[1], b_id:[1,2]}|
+----------------------+
Run Code Online (Sandbox Code Playgroud)
或者像这样
+---------------------+
| column1 |
+---------------------+
|{a_id:[3,5]} |
+---------------------+
Run Code Online (Sandbox Code Playgroud)
我知道,如何检查顶级列是否存在,如这里所回答:How do I detection if a Spark DataFrame has a column:
df.schema.fieldNames.contains("column_name")
Run Code Online (Sandbox Code Playgroud)
但是如何检查嵌套列?