配对两个RDD

roe*_*oel 2 apache-spark

假设我有两个RDD-,其中一个是另一个的映射。例如:

RDD[Double] N;
RDD[Double] logN = N.map(x => Math.Log(x));
Run Code Online (Sandbox Code Playgroud)

我想对它们两者之间的匹配对进行操作。像这样:

RDD[Double] NlogN = (N,logN).map((x,y) => x*y);
Run Code Online (Sandbox Code Playgroud)

火花中可以进行这种操作吗?

Iul*_*gos 5

你在找 zip

N.zip(logN).map { case (x, y) => ... }
Run Code Online (Sandbox Code Playgroud)