Pytorch 如何在训练神经网络的同时加速加载数据的过程？

我现在用我的GPU训练我的LSTM神经网络

问题是：

我的培训集中有23000个.csv文件，形状为（40,76）。每次我得到一个批（64）来加载数据时，我发现加载数据（读取64.csv文件）大约需要1秒，计算损失和更新参数大约需要0.08秒。当我检查我的GPU的电源和利用率时，我发现它的效率很低。因此，我如何改进培训数据的组织

---

这是我自己的数据集类。

将CSV文件合并到一个文件中。或者，从CSV加载数据并以其他形式保存数据。这样，您只需读取一个文件，而不是23000。读取文件的速度相对较慢，因为它需要系统调用（您的程序必须要求操作系统读取文件）

---

最简单的方法是合并csv，然后将它们另存为新的csv。然后使用csv加载数据。我敢打赌，您代码的大部分运行时间都是从打开/关闭文件开始的

请避免将代码作为图像发布。对不起，我不会犯同样的错误！