Memory management 如何估计余弦_相似矩阵所需的内存？_Memory Management_Scikit Learn_Nlp

Memory management 如何估计余弦_相似矩阵所需的内存？

memory-management scikit-learn nlp

Memory management 如何估计余弦_相似矩阵所需的内存？,memory-management,scikit-learn,nlp,Memory Management,Scikit Learn,Nlp,我正试图通过sklearn.metrics.pairwise.cosine\u相似度来计算一个cosine\u相似度矩阵。输出矩阵可能是60k*50k。但是，它返回一个内存为32G的MemoryError。我正在考虑为我的服务器添加更多内存，但我想估计我真正需要的内存是多少谢谢。对所需内存的准确估计是60000*50000*4字节=12GB。如果使用double而不是float，则内存将增加一倍。是否使用64位python？（32位python是内存错误的常见原因）您可以执行一些浮点散列（量化

我正试图通过

sklearn.metrics.pairwise.cosine\u相似度

来计算一个cosine\u相似度矩阵。输出矩阵可能是60k*50k。但是，它返回一个内存为32G的MemoryError。我正在考虑为我的服务器添加更多内存，但我想估计我真正需要的内存是多少

谢谢。

对所需内存的准确估计是60000*50000*4字节=12GB。如果使用double而不是float，则内存将增加一倍。

是否使用64位python？（32位python是内存错误的常见原因）您可以执行一些浮点散列（量化），但这可能是有损的：。在Python中：