Python 需要将字符串、数字和多维numpy数组一起存储在磁盘上

Python 需要将字符串、数字和多维numpy数组一起存储在磁盘上,python,numpy,save,Python,Numpy,Save,我的应用程序需要将对象的字段保存到磁盘,以便以后可以轻松地再次加载。目前,我只是对整个对象进行酸洗并使用gzip压缩文件,但文件仍然很大(我假设是因为数组),并且需要的时间比我想要保存的时间长。是否有更好的存储阵列的方法?还是完全不同的方法 cPickle似乎没有提高速度。我已经研究了HDF5 h5py来存储阵列,但是我想把所有的东西都放在一起。这是我第一次处理这样的问题,如果有一个很好的解决方案组合,我将不胜感激。多大才是大,多慢才是慢?另外,您是先存储,然后压缩,还是动态压缩?numpy数组

我的应用程序需要将对象的字段保存到磁盘,以便以后可以轻松地再次加载。目前,我只是对整个对象进行酸洗并使用gzip压缩文件,但文件仍然很大(我假设是因为数组),并且需要的时间比我想要保存的时间长。是否有更好的存储阵列的方法?还是完全不同的方法


cPickle似乎没有提高速度。我已经研究了HDF5 h5py来存储阵列,但是我想把所有的东西都放在一起。这是我第一次处理这样的问题,如果有一个很好的解决方案组合,我将不胜感激。

多大才是大,多慢才是慢?另外,您是先存储,然后压缩,还是动态压缩?numpy数组是密集的还是稀疏的?你有没有试过使用另一种pickle协议?为了提高效率,我建议使用协议2。另外,numpy可以使用
numpy.save
(或
savez
用于多个数组,而
savez\u compressed
用于压缩多个数组-您可以将字符串放入numpy数组中,没有问题)。