Mar*_*lli 5 hadoop mapreduce svd
您好,我需要使用 MapReduce 对大型密集方阵执行奇异值分解。
我已经检查过 Mahout 项目,但他们提供的是 TSQR 算法 http://arbenson.github.io/portfolio/Math221/AustinBenson-math221-report.pdf。
问题是我想要满级,而这种方法在这种情况下不起作用。他们之前使用的分布式 Lanczos SVD 实现也不适合我的情况。
我发现双面雅可比方案可以用于此目的,但我没有找到任何可用的实现。
有谁知道我是否可以以及在哪里可以找到参考代码?
小智 -1
如果它可能有帮助 - 请查看 Spark lib (mlib)。它有实施。您可以使用它,或者查看它,您可以自己制作。 https://spark.apache.org/docs/latest/mllib-Dimensionality-reduction.html