Python 加载速度与内存：如何有效地从h5文件加载大型阵列

我一直面临以下问题：我必须循环使用

num_objects=897

对象，其中每一个对象我都必须使用

num_files=2120

h5文件。这些文件非常大，每个都是1.48 GB，我感兴趣的内容是每个文件中包含3个大小为256 x 256 x 256的浮点数组（

v1

、

v2

和

v3

）。也就是说，循环看起来像：

for i in range(num_objects):
    ...
    for j in range(num_files):
       some operation with the three 256 x 256 x 256 arrays in each file

我当前加载它们的方法是在最内层的循环中执行以下操作：

f = h5py.File('output_'+str(q)+'.h5','r')
key1 = np.array(f['key1'])
v1=key1[:,:,:,0]
v2=key2[:,:,:,1]
v3=key3[:,:,:,2]

上述每次为每个对象加载文件的选项显然非常慢。另一方面，一次加载所有文件并将其导入字典会导致内存的过度使用，我的工作也会被终止。一些诊断：

• 上述方法对于每个文件、每个对象需要0.48秒，因此仅此操作总共花费10.5天（！）
• 我尝试将

  key1

  导出到npz文件，但实际上每个文件的速度慢了0.7秒
• 我将每个文件的

  v1

  、

  v2

  和

  v3

  分别导出到npz文件（即每个h5文件3个npz文件），但这总共只为我节省了1.5天

---

是否有人有其他想法/建议我可以尝试快速，同时不受过度内存使用的限制？

如果我理解，您有2120.h5文件。对于每个文件，您是否只读取数据集

f['key1']

中的3个数组？（或者是否有其他数据集？）如果您只/总是阅读

f['key1']

，这是一个无法编程解决的瓶颈。使用SSD会有所帮助（因为I/O比HDD快）。否则，您将不得不重新组织数据。系统上的RAM数量将决定您可以同时读取的阵列数量。你有多少公羊

您可以通过一个小的代码更改获得一点速度

v1=key1[：，：，：，0]

将v1作为数组返回（v2和v3相同）。无需将数据集

f['key1']

读入数组。这样做会使内存占用翻一番。（顺便问一下，是否有理由将数组转换为字典？）

下面的过程仅通过从h5py

f['key1']

对象切片

v1、v2、v3

来创建3个数组。它会将每个循环的内存占用减少50%

f = h5py.File('output_'+str(q)+'.h5','r')
key1 = f['key1'] 
## key1 is returned as a h5py dataset OBJECT, not an array
v1=key1[:,:,:,0]
v2=key2[:,:,:,1]
v3=key3[:,:,:,2]

---

在HDF5方面，由于总是切掉最后一个轴，块参数可能会改善I/O。但是，如果要更改块形状，则必须重新创建.h5文件。因此，这可能不会节省时间（至少在短期内）。

同意@kcw78，根据我的经验，瓶颈通常是与所需数据相比，您加载的数据太多。因此，除非需要，否则不要将数据集转换为数组，只对需要的部分进行切片（是需要整个

[：，：，0]

还是只需要其中的一个子集？）

此外，如果可以，请更改循环的顺序，以便每个文件只打开一次

范围内j的

（num_文件）：
...
对于范围内的i（num_对象）：
在每个文件中使用三个256 x 256 x 256数组的某些操作

另一种方法是使用外部工具（如）在更小的数据集中提取所需的数据，然后用python读取，以避免python的开销（老实说，这可能没有那么大）

---

最后，只要任务彼此相对独立，就可以使用多处理来利用CPU核心。举个例子。

h5py是一个数据表示类，它支持大多数NumPy数据类型，并支持传统的NumPy操作（如切片）和各种描述性属性（如形状和大小属性）

有一个很酷的选项，您可以使用create_dataset方法在启用chunked关键字的情况下将数据集表示为块：

dset=f.create_数据集（“分块的”（10001000），分块=（100100））

这样做的好处是，您可以轻松地调整数据集的大小，现在就像您的情况一样，您只需读取一个数据块，而不必读取整个1.4GB的数据

但是要注意分块的含义：不同的数据大小在不同的分块大小中效果最好。autochunk有一个选项，可以自动选择此块大小，而不是通过点击和试用：

dset=f.create_数据集（“自动chunk”（10001000），chunks=True）

---

干杯

我理解正确了吗：您拥有2120×897×1.48GB的数据文件，超过2.5 PB？其中有些数据非常大。您可以为更大的数据集使用一些专用工具，如ApacheSpark（以及其他10亿个）。你也可以以云计算的形式向它投入大量的力量，并在其上附加类似Spark的服务。所有像AWS这样的大型供应商都有这样的特点。我要研究的是数据压缩。你能迭代所有文件，将它们转换成你能找到的最有效的格式（不知道是h5还是拼花地板），并重新采样数据（例如按时间）？不，我有2120个文件，每个文件1.48 GB，总共3.1376 TB。我需要将切片（

v1

，

v2

和

v3

）读入单独的变量，因为我使用它们进行不同的操作。我需要所有这些，而不仅仅是一个子集。反转循环的顺序，虽然是个好主意，但与我最初的问题解决方案一样低效，因为仍然会有（事实上更多）不必要的重复计算。谢谢你的想法和建议，我会调查的！：）