根据列的最大值过滤火花数据框

Question

我想做这样的事情：

df
.withColumn("newCol", <some formula>)
.filter(s"""newCol > ${(math.min(max("newCol").asInstanceOf[Double],10))}""")

我得到的例外：

org.apache.spark.sql.Column cannot be cast to java.lang.Double

你能建议我一种方法来实现我想要的吗？

Answer 1

我假设newCol已经存在于 中df，那么：

import org.apache.spark.sql.expressions.Window   
import org.apache.spark.sql.functions._

df
.withColumn("max_newCol",max($"newCol").over(Window.partitionBy()))
.filter($"newCol"> least($"max_newCol",lit(10.0)))

代替max($"newCol").over(Window.partitionBy())你也可以 jjst 写max($"newCol").over()