如何找到两个数组列之间的共同元素？

Question

我有两个以逗号分隔的字符串列（sourceAuthors和targetAuthors）。

val df = Seq(
  ("Author1,Author2,Author3","Author2,Author3,Author1")
).toDF("source","target")

我想添加另一列，nCommonAuthors其中包含共同作者的数量。

我尝试通过这种方式做到这一点：

def myUDF = udf { (s1: String, s2: String) =>
  s1.split(",")
  s2.split(",")
  s1.intersect(s2).length
}
val newDF = myDF.withColumn("nCommonAuthors", myUDF($"source", $"target"))

我收到以下错误：

线程“main”中的异常 java.lang.UnsupportedOperationException：不支持类型 Unit 的架构

知道为什么我会收到此错误吗？如何找到两列之间的共同元素？

Answer 1

除非我误解了你的问题，否则有一些标准函数可以帮助你（这样你就不必编写 UDF），即split和array_intersect。

给定以下数据集：

val df = Seq(("Author1,Author2,Author3","Author2,Author3"))
  .toDF("source","target")
scala> df.show(false)
+-----------------------+---------------+
|source                 |target         |
+-----------------------+---------------+
|Author1,Author2,Author3|Author2,Author3|
+-----------------------+---------------+

您可以编写以下结构化查询：

val intersect = array_intersect(split('source, ","), split('target, ","))
val solution = df.select(intersect as "common_elements")
scala> solution.show(false)
+------------------+
|common_elements   |
+------------------+
|[Author2, Author3]|
+------------------+