SVD实现图reduce

Mar*_*lli 5 hadoop mapreduce svd

您好,我需要使用 MapReduce 对大型密集方阵执行奇异值分解。

我已经检查过 Mahout 项目,但他们提供的是 TSQR 算法 http://arbenson.github.io/portfolio/Math221/AustinBenson-math221-report.pdf

问题是我想要满级,而这种方法在这种情况下不起作用。他们之前使用的分布式 Lanczos SVD 实现也不适合我的情况。

我发现双面雅可比方案可以用于此目的,但我没有找到任何可用的实现。

有谁知道我是否可以以及在哪里可以找到参考代码?

小智 -1

如果它可能有帮助 - 请查看 Spark lib (mlib)。它有实施。您可以使用它,或者查看它,您可以自己制作。 https://spark.apache.org/docs/latest/mllib-Dimensionality-reduction.html