Pytorch 将图像和标签存储到hdf5文件

我有一个图像文件夹和一个csv文件，每个图像对应一个标签。我正在尝试训练pytorch模型，问题是数据加载似乎是一个瓶颈，因此我想将图像存储到HDf5文件中并读取它们。

您当前如何加载图像数据？为什么你认为从HDF5加载相同的数据会更快？@kcw78目前我只是用pillow simd加载并将它们转换为pytorch张量，对于第二个问题我不是很确定，但我听说HDF5会更快。你认为呢？我经常使用HDF5，但不是图像数据专家。其他人将HDF5与ML一起使用。例如，SVHN数据集以HDF5格式保存（来自Matlab）。HDF5具有良好的I/O性能。速度的提高取决于当前的方法与HDF5。您当前如何加载数据？您是否尝试过增加数据加载程序中的工作进程数？另外，hdf5可能存在并发问题。您当前如何加载图像数据？为什么你认为从HDF5加载相同的数据会更快？@kcw78目前我只是用pillow simd加载并将它们转换为pytorch张量，对于第二个问题我不是很确定，但我听说HDF5会更快。你认为呢？我经常使用HDF5，但不是图像数据专家。其他人将HDF5与ML一起使用。例如，SVHN数据集以HDF5格式保存（来自Matlab）。HDF5具有良好的I/O性能。速度的提高取决于当前的方法与HDF5。您当前如何加载数据？您是否尝试过增加数据加载程序中的工作进程数？另外，hdf5可能存在并发性问题。