Memory 当numpy.dot(A,B)时出现内存错误,其中A是250000x108浮点矩阵,B是A的转置

Memory 当numpy.dot(A,B)时出现内存错误,其中A是250000x108浮点矩阵,B是A的转置,memory,numpy,dot-product,Memory,Numpy,Dot Product,如果没有Memroy错误,你想做点B吗?结果将是一个250000x250000矩阵,需要大约半TB的RAM 您的意思是numpy.dot(B,A)?您试图计算的点积将生成250000x250000数组,如果您使用默认的双精度浮点,则需要500Gb内存。你确定这就是你所需要的吗?当numpy.dot(A,B)时内存错误,其中A是250000x108浮点矩阵,B是A的转置。我需要250000x250000矩阵,不知道怎么做在这种情况下,大规模数据。数组至少有点稀疏吗?(即,它们是否包含很多零?)然后

如果没有Memroy错误,你想做点B吗?

结果将是一个250000x250000矩阵,需要大约半TB的RAM


您的意思是
numpy.dot(B,A)

您试图计算的点积将生成250000x250000数组,如果您使用默认的双精度浮点,则需要500Gb内存。你确定这就是你所需要的吗?

当numpy.dot(A,B)时内存错误,其中A是250000x108浮点矩阵,B是A的转置。我需要250000x250000矩阵,不知道怎么做在这种情况下,大规模数据。数组至少有点稀疏吗?(即,它们是否包含很多零?)然后使用稀疏矩阵库,如
scipy.sparse
numpy
本身不包括稀疏矩阵。它们在
scipy.sparse
中。我需要250000x250000矩阵,不知道怎么做在这种情况下,大规模数据。