Python 将Numpy npz文件加载到内存中(RAM中的压缩阵列)
Numpy能够以压缩形式轻松地在磁盘上存储和加载阵列 有没有办法在内存中执行相同的操作,即将整个npz文件放入RAM,然后在需要时解压?这将是伪代码:Python 将Numpy npz文件加载到内存中(RAM中的压缩阵列),python,numpy,compression,bigdata,Python,Numpy,Compression,Bigdata,Numpy能够以压缩形式轻松地在磁盘上存储和加载阵列 有没有办法在内存中执行相同的操作,即将整个npz文件放入RAM,然后在需要时解压?这将是伪代码: compressed_npz = load_file("data.npz") decompressed = decompress(compressed_npz)['something'] #do something useful decompressed2 = decompress(compressed_npz)['somet
compressed_npz = load_file("data.npz")
decompressed = decompress(compressed_npz)['something']
#do something useful
decompressed2 = decompress(compressed_npz)['something_else']
这里的想法是,npz文件中的数组可以以压缩形式存储,以便它们适合内存。
compressed\u npz
是一个类似dict的对象,用于标识npz
中的数组/文件compressed_npz['something']
从somthing.npy
文件执行实际加载npz
不实现常规npy
文件的memmap
模式。我还没有调查减压发生在哪里。