Java在连接apache spark中的列时等效于scala的concat

Question

在scala中,我可以将数据框中的多个列连接到新列,例如

var dataWithNewColumns = rawData.withColumn("day_and_time", concat(rawData("day"),lit("_"),rawData("time")))

我想在java中做同样的事情,但我找不到与concat函数相同的任何东西.你能帮我吗？任何其他选项都可以实现两个列的组合.

提前致谢!

Answer 1

您需要在functions类中导入类(或更确切地说,static它的方法)才能实现它,例如:

import static org.apache.spark.sql.functions.*;

导入后,代码将如下所示:

Dataset<Row> data = //get data
data.withColumn("new_Column", concat(data.col("col1"), lit("_"), data.col("col2")));