将 numpy 矩阵转换为 pyspark rdd

Question

我有一个二维 numpy 数组。如何从矩阵中的每一行都是 rdd 中的条目的位置创建 pyspark rdd？

这样：

rddData.take(1)[0] == list(aaData[0])

aaDatanumpy 二维数组（矩阵）在哪里， rddDatardd 是从哪里创建的aaData？

Answer 1

只是parallelize它：

mat = np.arange(100).reshape(10, -1)
rdd = sc.parallelize(mat)

np.all(rdd.first() == mat[0])
## True