Python 处理超大Numpy阵列

我想创建一个尺寸为25000*25000的Numpy内核矩阵。我想知道在磁盘上保存和加载这样大的矩阵时，最有效的方法是什么。我尝试用Pickle转储它，但它抛出了一个错误，说它无法序列化大小大于4gib的对象

u可以尝试通过pandas.HDFStore（）将其保存在h5文件中

---

你可以尝试通过pandas.HDFStore（）将其保存在h5文件中

---

为什么不尝试将数组保存为文件而不是使用pickle呢

np.savetxt("filename",array)

然后就可以通过

---

np.genfromtxt（“文件名”）

为什么不尝试将数组保存为文件，而不是使用pickle

np.savetxt("filename",array)

然后就可以通过

---

np.genfromtxt（“filename”）

根据大量经验，尝试np.save或np.savezNot，但您可能希望查看并查看

pyarrow

应该已经包含拼花地板。根据大量经验，可以尝试np.save或np.savezNot，但您可能需要查看和查看

pyarrow

应该已经包含拼花地板。对于这样大的数组，保存和加载都会非常慢。对于这样大的数组，保存和加载都会非常慢。