Image processing 如何加快；ImageFolder"；对于ImageNet

我在一所大学，所有的文件系统都在一个远程系统中，无论我在哪里用我的帐户登录，我都可以访问我的主目录。即使我通过SSH命令登录到GPU服务器。这就是我使用GPU服务器读取数据的条件

目前，我使用Pytork在ImageNet上从头开始训练ResNet，我的代码只使用同一台计算机中的所有GPU，我发现“torchvision.datasets.ImageFolder”几乎需要两个小时

---

请您提供一些如何加速“torchvision.datasets.ImageFolder”的经验好吗？非常感谢。

为什么要花这么长时间？
设置映像可能需要很长时间，尤其是当映像存储在速度较慢的远程磁盘上时。此延迟的原因是数据集的

\uuuu init\uuu

函数会检查图像文件夹中的所有文件，并检查此文件是否为图像文件。对于ImageNet，这可能需要相当长的时间，因为要检查的文件超过100万个

你能做什么？
-如前所述，将数据集复制到本地（可能更快）存储可以显著加快速度。

---

-或者，您可以创建一个修改后的dataset类，该类不读取所有文件，但依赖于缓存的文件列表—一个缓存列表，您只需提前准备一次，并用于所有运行。

是否尝试使用更多的

num\u workers

？检查。此外，您可以尝试HDF5文件作为建议的Hi，非常感谢您的答复。我的问题发生在ImageFolder上，而num_worker设置为下一句话。我尝试将文件移动到本地机器，即SSD，我发现数据加载只需要几秒钟。因此，我认为问题是由远程文件系统引起的。我也有同样的问题，您是否找到了在远程文件系统（NAS）上快速加载的解决方案？最后，我将数据复制到GPU服务器的磁盘上。