爆炸功能的反作用

Question

在带有spark-2.4的scala中，我想过滤列中数组内部的值。

从

+---+------------+
| id|      letter|
+---+------------+
|  1|[x, xxx, xx]|
|  2|[yy, y, yyy]|
+---+------------+

至

+---+-------+
| id| letter|
+---+-------+
|  1|[x, xx]|
|  2|[yy, y]|
+---+-------+

我想到了使用explode+filter

val res = Seq(("1", Array("x", "xxx", "xx")), ("2", Array("yy", "y", "yyy"))).toDF("id", "letter")
res.withColumn("tmp", explode(col("letter"))).filter(length(col("tmp")) < 3).drop(col("letter")).show()

我正在

+---+---+
| id|tmp|
+---+---+
|  1|  x|
|  1| xx|
|  2| yy|
|  2|  y|
+---+---+

如何按ID zip / groupBy返回？

还是有更好，更优化的解决方案？

Answer 1

您可以不explode()使用Spark 2.4 过滤数组：

res.withColumn("letter", expr("filter(letter, x -> length(x) < 3)")).show()

输出：

+---+-------+
| id| letter|
+---+-------+
|  1|[x, xx]|
|  2|[yy, y]|
+---+-------+