Spark:如何使用join方法?

fan*_*nhk 1 scala apache-spark rdd

现在我有2个RDD加入但是当我输入".join"时我的IDE找不到这个符号,它告诉我"无法解析符号连接".我已经使用maven来构建我的项目并重新导入函数来处理我的依赖.我错过了一些依赖吗?有人能告诉我如何解决它吗?谢谢!

Jea*_*art 7

您需要通过导入启用Spark隐式转换org.apache.spark.SparkContext._来访问(键,值)对的RDD上可用的额外函数.

import org.apache.spark.SparkContext._

val p1: RDD[(K, V)] = ...
val p2: RDD[(K, W)] = ...
val joined: RDD[(K, (V, W))] = p1.join(p2)
Run Code Online (Sandbox Code Playgroud)