Database 使用hdf5进行深度学习的计算效益

Database 使用hdf5进行深度学习的计算效益,database,deep-learning,storage,hdf5,Database,Deep Learning,Storage,Hdf5,在一些情况下,hdf5存储格式用于深度学习。可以理解hdf5共享数据的好处。然而,我是否可以期望通过使用hd5f而不是级联帧的图像来提高训练效率 如果共享是我最不关心的问题,那么有什么理由我应该使用hdf5吗 编辑: 我浏览了各种页面,如HDF5用户指南、常见问题解答和其他博客文章。我发现hdf5主要是一种多功能存储格式。我找不到他们在我所关心的环境中讨论效率的细节。我曾处理过图像、视频、录音、文本,甚至3D磁共振成像。我从未遇到过数据读取速度是管道瓶颈的情况 然而,将数据集存储在hdf5中的一

在一些情况下,hdf5存储格式用于深度学习。可以理解hdf5共享数据的好处。然而,我是否可以期望通过使用hd5f而不是级联帧的图像来提高训练效率

如果共享是我最不关心的问题,那么有什么理由我应该使用hdf5吗

编辑:
我浏览了各种页面,如HDF5用户指南、常见问题解答和其他博客文章。我发现hdf5主要是一种多功能存储格式。我找不到他们在我所关心的环境中讨论效率的细节。

我曾处理过图像、视频、录音、文本,甚至3D磁共振成像。我从未遇到过数据读取速度是管道瓶颈的情况

然而,将数据集存储在hdf5中的一个优点是,初始加载到内存比单独读取数千个文件要快得多。我通常使用云服务来同步数据,其中一个大文件比一百万个小文件方便得多


除此之外,我想不出使用hdf5的效率优势

第2段提到的效率是指更快的训练速度还是节省存储空间?@pietz,很抱歉不清楚。我只关心训练速度。