小编Ard*_*eti的帖子

高效加载CSV坐标格式(COO)输入到局部矩阵火花

我想将CSV坐标格式(COO)数据转换为局部矩阵.目前我首先将它们CoordinateMatrix转换为然后转换为LocalMatrix.但是有更好的方法吗?

示例数据:

0,5,5.486978435
0,3,0.438472867
0,0,6.128832321
0,7,5.295923198
0,1,7.738270234
Run Code Online (Sandbox Code Playgroud)

码:

var loadG = sqlContext.read.option("header", "false").csv("file.csv").rdd.map("mapfunctionCreatingMatrixEntryOutOfRow")
var G = new CoordinateMatrix(loadG)

var matrixG = G.toBlockMatrix().toLocalMatrix()
Run Code Online (Sandbox Code Playgroud)

scala matrix sparse-matrix apache-spark apache-spark-ml

7
推荐指数
1
解决办法
388
查看次数