Spark SQL 中用逗号分隔的字符串爆炸列

Question

我有以下数据集

+----+-----------+
|col1|       col2|
+----+-----------+
|   1|val1, val2 |
|   2|val3, val4 |
+----+-----------+

将所有值视为字符串现在我想将其转换为下面的数据集

+----+-----------+
|col1|       col2|
+----+-----------+
|   1|val1       |
|   1|val2       |
|   2|val3       |
|   2|val4       |
+----+-----------+

我怎样才能实现这个目标？

Answer 1

使用split将逗号分隔的值解析为数组，然后分解以将数组元素重新排列为单独的行。

df.withColumn("col2", explode(split($"col2", ","))).show