Deep learning 使用Caffe训练数据集时多次加载HDF5文件

我正在使用hdf5文件训练数据集，日志显示hdf5文件加载了3次。我想知道为什么会这样

对于培训，我使用的是

4个GPU

0830 10:51:06.050088 24335 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.055855 24336 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.066175 24335 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259
I0830 10:51:06.071753 24336 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259
I0830 10:51:06.878861 24337 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.900501 24337 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259

---

据我所知，如果您使用多个

GPU

，

hdf5

文件会为每个GPU加载多次！在使用

hdf5

文件进行培训时，这可能会导致一些问题，我不建议使用多个

gpu