相关疑难解决方法(0)

如何在pyspark数据框中的嵌套结构中添加列?

我有一个类似于架构的数据框

root
 |-- state: struct (nullable = true)
 |    |-- fld: integer (nullable = true)
Run Code Online (Sandbox Code Playgroud)

我想在state结构中添加列,即创建一个具有类似架构的数据帧

root
 |-- state: struct (nullable = true)
 |    |-- fld: integer (nullable = true)
 |    |-- a: integer (nullable = true)
Run Code Online (Sandbox Code Playgroud)

但相反,我得到了

root
 |-- state: struct (nullable = true)
 |    |-- fld: integer (nullable = true)
 |-- state.a: integer (nullable = true)
Run Code Online (Sandbox Code Playgroud)

这是尝试

df.withColumn('state.a', val)
Run Code Online (Sandbox Code Playgroud)

apache-spark apache-spark-sql pyspark

12
推荐指数
3
解决办法
8706
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

pyspark ×1