我如何在 Spark 数据框中使用多个参数(柯里化)调用下面的 UDF,如下所示。
读取读取并获取列表[String]
val data = sc.textFile("file.csv").flatMap(line => line.split("\n")).collect.toList
Run Code Online (Sandbox Code Playgroud)
注册UDF
val getValue = udf(Udfnc.getVal(_: Int, _: String, _: String)(_: List[String]))
Run Code Online (Sandbox Code Playgroud)
在下面的df中调用udf
df.withColumn("value",
getValue(df("id"),
df("string1"),
df("string2"))).show()
Run Code Online (Sandbox Code Playgroud)
这是我缺少的List[String]论点,我真的不确定我应该如何传递这个论点。