在python中查找特征值/向量的最快方法是什么?

在python中查找特征值/向量的最快方法是什么?,python,matrix,numpy,linear-algebra,eigenvalue,Python,Matrix,Numpy,Linear Algebra,Eigenvalue,目前我正在使用numpy来完成这项工作。但是,当我处理的矩阵有数千行/列,之后这个数字将增加到数万行/列时,我想知道是否有一个软件包可以更快地执行这种计算?如果矩阵是稀疏的,您可以尝试使用scipy的稀疏特征值函数,它应该更快: 您还可以查看专门的软件包,如SLEPc,它具有python绑定,可以使用mpi并行计算: **如果矩阵是稀疏的,则使用scipy.sparse中的构造函数实例化矩阵,然后使用spice.sparse.linalg中类似的特征向量/特征值方法。从性能角度来看,这有两个

目前我正在使用numpy来完成这项工作。但是,当我处理的矩阵有数千行/列,之后这个数字将增加到数万行/列时,我想知道是否有一个软件包可以更快地执行这种计算?

如果矩阵是稀疏的,您可以尝试使用scipy的稀疏特征值函数,它应该更快:

您还可以查看专门的软件包,如SLEPc,它具有python绑定,可以使用mpi并行计算:

  • **如果矩阵是稀疏的,则使用scipy.sparse中的构造函数实例化矩阵,然后使用spice.sparse.linalg中类似的特征向量/特征值方法。从性能角度来看,这有两个优点:

    • 您的矩阵是由Spicle.sparse构造函数构建的,它将与稀疏程度成比例地减小

    • 对于稀疏矩阵(EIG,eigsh),接受一个可选参数,k是要返回的特征向量/特征值对的数目。几乎总是,解释>99%差异所需的数量远小于列数,您可以事后验证;换句话说,您可以告诉方法不要计算并返回所有的特征向量/特征值对——除了(通常)解释方差所需的小子集之外,您不太可能需要其余的

  • 使用SciPy中的线性代数库,SciPy.linalg 同一名称的NumPy库。这两个图书馆 使用相同的名称和方法名称。然而,在性能上存在差异。 这种差异是由于numpy.linalg是一个 类似的LAPACK例程上不太忠实的包装器 为了便携性和方便性而牺牲一些性能(例如。, 为了符合NumPy设计目标,整个NumPy库 应在不使用Fortran编译器的情况下构建)。西比安的利纳格 另一方面是一个更加完整的包装在LAPACK上 使用f2py

  • 选择适合您的用例的功能;换句话说,不要使用一个函数,因为它做的事情超出了您的需要。在scipy.linalg 有几个函数来计算特征值;这个 虽然通过仔细选择函数,差异并不大 要计算特征值,您应该看到性能提升。对于 实例:

    • scipy.linalg.eig返回特征值和 特征向量
    • scipy.linalg.eigvals,仅返回特征值。因此,如果您只需要矩阵的特征值,那么不要使用linalg.eig,而是使用linalg.eigvals
    • 如果有实值平方对称矩阵(等于其转置),则使用scipy.linalg.eigsh
  • 优化您的Scipy构建准备您的Scipy构建环境 主要是在SciPy的setup.py脚本中完成的。也许是 在性能方面,最重要的选项是识别任何优化的 LAPACK库,如或Accelerate/vecLib framework(OS X 只有?)以便SciPy能够检测到它们并针对它们进行构建。 根据您目前拥有的装备,优化您的SciPy 构建然后重新安装可以给您带来可观的性能 增加。SciPy核心团队的其他注释如下

这些函数是否适用于大型矩阵

我想是的。这些是工业强度矩阵分解方法,只是类似FortranLAPACK例程的薄纸包装

我使用了linalg库中的大多数方法来分解矩阵,其中列数通常在5到50之间,行数通常超过500000。SVD和特征值方法在处理这种大小的矩阵时似乎都没有任何问题

使用SciPy库linalg,您可以使用此库中的任意方法,eigeigvalsheigh通过一次调用计算特征向量和特征值

>>> import numpy as NP
>>> from scipy import linalg as LA

>>> A = NP.random.randint(0, 10, 25).reshape(5, 5)
>>> A
    array([[9, 5, 4, 3, 7],
           [3, 3, 2, 9, 7],
           [6, 5, 3, 4, 0],
           [7, 3, 5, 5, 5],
           [2, 5, 4, 7, 8]])

>>> e_vals, e_vecs = LA.eig(A)

numpy的伸缩性不好吗?我以为它是为这样的事情设计的。这不是矢量化操作的全部要点吗?数万不是很多,numpy会很快将其粉碎。在我的机器上,numpy的eigvals实际上比scipy的更快。我在40000×40000对称稀疏矩阵上使用scipy.sparse.linalg.eign.eigsh。我花了将近30分钟找到125个最小的特征向量。所以我也想知道Python中最有效的特征向量解算器是什么。在linalg优化方面,现在Anaconda中默认使用的MKL是否与它的速度一样快?