相关疑难解决方法(0)

从Spark DataFrame中删除嵌套列

我有一个DataFrame架构

root
 |-- label: string (nullable = true)
 |-- features: struct (nullable = true)
 |    |-- feat1: string (nullable = true)
 |    |-- feat2: string (nullable = true)
 |    |-- feat3: string (nullable = true)
Run Code Online (Sandbox Code Playgroud)

同时,我能够使用过滤数据框

  val data = rawData
     .filter( !(rawData("features.feat1") <=> "100") )
Run Code Online (Sandbox Code Playgroud)

我无法删除列

  val data = rawData
       .drop("features.feat1")
Run Code Online (Sandbox Code Playgroud)

这是我在这里做错了吗?我也试过(不成功)做drop(rawData("features.feat1")),虽然这样做没有多大意义.

提前致谢,

尼基尔

scala dataframe apache-spark apache-spark-sql apache-spark-ml

20
推荐指数
5
解决办法
1万
查看次数