将函数应用于笛卡尔RDD

Question

我正在尝试将函数应用于笛卡尔RDD.该功能取自此处,我不知道如何使其适用于笛卡尔RDD.

val combined = rdd_valid.cartesian(rdd1)
combined.collect().foreach(a  => println(a))

(abcde,abdce)
(somethin,somthing)
(afghr, decsvt)

我的第一个想法是做

val newRDD = combined.map(Levenshtein.distance)

但它不起作用.

Answer 1

假设combined有类型RDD[(String, String)],并Levenshtein.distance有此签名:

def distance(s1:String, s2:String)

您可以按如下方式申请:

val newRDD = combined.map { case (s1, s2) => Levenshtein.distance(s1, s2) }

或者,或者:

val newRDD = combined.map(t => Levenshtein.distance(t._1, t._2))