在 spark scala 中将数据帧列转换为逗号分隔值

Question

我有一个如下的数据框

我希望输出像

基本上它应该根据 TPID 进行分组，并在逗号分隔值中给出个人角色，如第二个图所示。

Answer 1

您可以使用这些功能：

import org.apache.spark.sql.functions._

//read data in inputDF
inputDF.groupBy("Tpid")
      .agg(concat_ws(",", collect_list("PersonalRole")).alias("PersonalRole"))
      .select(col("Tpid"), col("PersonalRole"))