如何将字符串连接到 Spark 中的列？

Question

我有以下数据，并希望获得带有文本前缀的结果：

输入数据框：

sk            id       
2306220722    117738

当前代码：

df.withColumn("Remarks", concat_ws("MCA", col("ID")))

预期输出：

sk           id      Remarks  
2306220722   117738  MCA 117738

我想在id列前加上“MCA”并将结果字符串添加到Remarks列中。

Answer 1

只需将该concat命令与lit. lit将采用一个值并生成一个仅包含该值的列，它可以是字符串、双精度值等。

val df2 = df.withColumn("Remarks", concat(lit("MCA "), col("id")))

使用问题中的示例数据框并运行df2.show()给出

+----------+------+----------+
|        sk|    id|   Remarks|
+----------+------+----------+
|2306220722|117738|MCA 117738|
+----------+------+----------+