如何将嵌套列添加到 DataFrame

Question

我有一个df具有以下架构的数据框：

root
 |-- city_name: string (nullable = true)
 |-- person: struct (nullable = true)
 |    |-- age: long (nullable = true)
 |    |-- name: string (nullable = true)

我想做的是添加一个嵌套列，比如car_brand我的person结构。我该怎么做呢？

预期的最终架构如下所示：

root
 |-- city_name: string (nullable = true)
 |-- person: struct (nullable = true)
 |    |-- age: long (nullable = true)
 |    |-- name: string (nullable = true)
 |    |-- car_brand: string (nullable = true)

Answer 1

您可以解压缩该结构并将其添加到新结构中，同时包括新列。例如，将“bmw”添加到数据框中的所有人员，如下所示：

df.withColumn("person", struct($"person.*", lit("bmw").as("car_brand")))