小编Lux*_*Lux的帖子

如何在spark scala中的数据帧上动态调用withColumn函数

这在 Spark-Scala 中可能吗?我使用的是火花2.2

val func="""withColumn("seq", lit("this is seq"))
           .withColumn("id", lit("this is id"))
           .withColumn("type", lit("this is type"))"""
Run Code Online (Sandbox Code Playgroud)

然后在数据框(df)之上使用上面的变量,如下所示

val df2=df.$func
Run Code Online (Sandbox Code Playgroud)

我将这些函数保存到变量的原因是我想根据条件动态应用函数。有时我可能需要 1 个 withColumn 函数,有时我可能需要多个 withColumn 函数。

感谢任何帮助。谢谢!

scala apache-spark apache-spark-sql

0
推荐指数
1
解决办法
3781
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

scala ×1