什么是在python中找到特征值/向量的最快方法？

Question

目前我正在使用numpy来完成这项工作.但是,因为我正在处理具有数千行/列的矩阵,后来这个数字将达到数万,我想知道是否存在可以更快地执行此类计算的包？

Answer 1

• **如果你的矩阵是稀疏的,则使用构造从实例化矩阵scipy.sparse然后使用类似的特征向量/特征值算法spicy.sparse.linalg.从性能的角度来看,这有两个好处:

  • 你的矩阵,由spicy.sparse构造函数构建,将与它的稀疏程度成比例地变小.

  • 稀疏矩阵的特征值/特征向量方法(eigs,eigsh)接受一个可选参数k,它是你想要返回的特征向量/特征值对的数量.几乎总是考虑> 99%的方差所需的数量远远少于你可以事后验证的列数; 换句话说,你可以告诉方法不要计算并返回所有的特征向量/特征值对 - 超出考虑方差所需的(通常)小子集,你不太可能需要其余的.

• 使用的线性代数库SciPy的, scipy.linalg,而不是与NumPy的同名库.这两个库具有相同的名称并使用相同的方法名称.然而,性能有所不同.这种差异的事实,造成numpy.linalg是 少上类似的LAPACK例程忠实的包装物牺牲一些性能的便携性和方便性(即符合NumPy的设计目标,整个NumPy的图书馆应该没有一个Fortran建编译器).linalg 在SciPy的,另一方面是LAPACK一个更完整的包装和使用f2py.

• 选择适合您用例的功能 ; 换句话说,不要使用超出您需要的功能.在 scipy.linalg中 有几个函数来计算特征值; 差异并不大,但通过仔细选择计算特征值的函数,你应该看到性能提升.例如:

  • scipy.linalg.eig返回两者的特征向量
  • scipy.linalg.eigvals,仅返回特征值.因此,如果您只需要矩阵的特征值,则不要使用linalg.eig,而是使用linalg.eigvals.
  • 如果你有一个实值方形对称矩阵(等于它的转置),那么使用scipy.linalg.eigsh

• 优化您的Scipy构建准备SciPy构建环境主要在SciPy的 setup.py脚本中完成.也许性能最重要的选项是识别任何优化的LAPACK库,例如 ATLAS或Accelerate/vecLib框架(仅限OS X？),以便SciPy可以检测它们并针对它们进行构建.根据您目前的装备,优化SciPy构建然后重新安装可以显着提高性能.SciPy核心团队的其他说明就在这里.

这些函数是否适用于大型矩阵？

我应该这么认为.这些是工业强度矩阵分解方法,它们只是类似Fortran LAPACK例程的薄包装器.

我已经使用linalg库中的大多数方法来分解矩阵,其中列数通常在大约5到50之间,并且其中行数通常超过500,000.无论是SVD也不是特征值的方法似乎有处理这种规模的矩阵任何问题.

使用SciPy库linalg,您可以使用此库中的任何一种方法(eig,eigvalsh和eigh)通过单个调用计算特征向量和特征值.

>>> import numpy as NP
>>> from scipy import linalg as LA

>>> A = NP.random.randint(0, 10, 25).reshape(5, 5)
>>> A
    array([[9, 5, 4, 3, 7],
           [3, 3, 2, 9, 7],
           [6, 5, 3, 4, 0],
           [7, 3, 5, 5, 5],
           [2, 5, 4, 7, 8]])

>>> e_vals, e_vecs = LA.eig(A)

Answer 2

如果你的矩阵是稀疏的,你可以尝试使用scipy的稀疏特征值函数,它应该更快:

http://docs.scipy.org/doc/scipy/reference/sparse.linalg.html

您也可以查看像SLEPc这样的特殊软件包,它具有python绑定,并且可以使用mpi并行执行计算:

http://code.google.com/p/slepc4py/