如何合并元素两个RDD

Question

假设我有两个RDD

第一

1
2
3
4
5

第二

6
7
8
9
10

新的RDD将是

1 6
2 7
3 8
4 9
5 10

所以,这基本上是元素明智的合并...我们假设两个RDD具有相同的大小.

Answer 1

您可以使用Spark的zip功能.根据文件:

>>> x = sc.parallelize(range(0,5))
>>> y = sc.parallelize(range(1000, 1005))
>>> x.zip(y).collect()
[(0, 1000), (1, 1001), (2, 1002), (3, 1003), (4, 1004)]

请注意,此函数假设两个RDD中的分区数相同且元素数相同.