在python中查找特征值/向量的最快方法是什么?
目前我正在使用numpy来完成这项工作。但是,当我处理的矩阵有数千行/列,之后这个数字将增加到数万行/列时,我想知道是否有一个软件包可以更快地执行这种计算?如果矩阵是稀疏的,您可以尝试使用scipy的稀疏特征值函数,它应该更快: 您还可以查看专门的软件包,如SLEPc,它具有python绑定,可以使用mpi并行计算:在python中查找特征值/向量的最快方法是什么?,python,matrix,numpy,linear-algebra,eigenvalue,Python,Matrix,Numpy,Linear Algebra,Eigenvalue,目前我正在使用numpy来完成这项工作。但是,当我处理的矩阵有数千行/列,之后这个数字将增加到数万行/列时,我想知道是否有一个软件包可以更快地执行这种计算?如果矩阵是稀疏的,您可以尝试使用scipy的稀疏特征值函数,它应该更快: 您还可以查看专门的软件包,如SLEPc,它具有python绑定,可以使用mpi并行计算: **如果矩阵是稀疏的,则使用scipy.sparse中的构造函数实例化矩阵,然后使用spice.sparse.linalg中类似的特征向量/特征值方法。从性能角度来看,这有两个
- **如果矩阵是稀疏的,则使用scipy.sparse中的构造函数实例化矩阵,然后使用spice.sparse.linalg中类似的特征向量/特征值方法。从性能角度来看,这有两个优点:
- 您的矩阵是由Spicle.sparse构造函数构建的,它将与稀疏程度成比例地减小
- 对于稀疏矩阵(EIG,eigsh),接受一个可选参数,k是要返回的特征向量/特征值对的数目。几乎总是,解释>99%差异所需的数量远小于列数,您可以事后验证;换句话说,您可以告诉方法不要计算并返回所有的特征向量/特征值对——除了(通常)解释方差所需的小子集之外,您不太可能需要其余的
- 使用SciPy中的线性代数库,SciPy.linalg 同一名称的NumPy库。这两个图书馆 使用相同的名称和方法名称。然而,在性能上存在差异。 这种差异是由于numpy.linalg是一个 类似的LAPACK例程上不太忠实的包装器 为了便携性和方便性而牺牲一些性能(例如。, 为了符合NumPy设计目标,整个NumPy库 应在不使用Fortran编译器的情况下构建)。西比安的利纳格 另一方面是一个更加完整的包装在LAPACK上 使用f2py
- 选择适合您的用例的功能;换句话说,不要使用一个函数,因为它做的事情超出了您的需要。在scipy.linalg
有几个函数来计算特征值;这个
虽然通过仔细选择函数,差异并不大
要计算特征值,您应该看到性能提升。对于
实例:
- scipy.linalg.eig返回特征值和 特征向量
- scipy.linalg.eigvals,仅返回特征值。因此,如果您只需要矩阵的特征值,那么不要使用linalg.eig,而是使用linalg.eigvals李>
- 如果有实值平方对称矩阵(等于其转置),则使用scipy.linalg.eigsh
- 优化您的Scipy构建准备您的Scipy构建环境 主要是在SciPy的setup.py脚本中完成的。也许是 在性能方面,最重要的选项是识别任何优化的 LAPACK库,如或Accelerate/vecLib framework(OS X 只有?)以便SciPy能够检测到它们并针对它们进行构建。 根据您目前拥有的装备,优化您的SciPy 构建然后重新安装可以给您带来可观的性能 增加。SciPy核心团队的其他注释如下
>>> import numpy as NP
>>> from scipy import linalg as LA
>>> A = NP.random.randint(0, 10, 25).reshape(5, 5)
>>> A
array([[9, 5, 4, 3, 7],
[3, 3, 2, 9, 7],
[6, 5, 3, 4, 0],
[7, 3, 5, 5, 5],
[2, 5, 4, 7, 8]])
>>> e_vals, e_vecs = LA.eig(A)
numpy的伸缩性不好吗?我以为它是为这样的事情设计的。这不是矢量化操作的全部要点吗?数万不是很多,numpy会很快将其粉碎。在我的机器上,numpy的eigvals实际上比scipy的更快。我在40000×40000对称稀疏矩阵上使用scipy.sparse.linalg.eign.eigsh。我花了将近30分钟找到125个最小的特征向量。所以我也想知道Python中最有效的特征向量解算器是什么。在linalg优化方面,现在Anaconda中默认使用的MKL是否与它的速度一样快?