Python 将Pytorch CUDA张量快速写入GPU上的内存映射文件
我发现可以使用CUDA写入内存映射文件(参考) 我想知道在Pytorch中是否有可能将cuda挂载的tensor目录写入存储在GPU上的mem映射 这样做的目的是在每个训练步骤后加快张量的书写速度。目前,Python 将Pytorch CUDA张量快速写入GPU上的内存映射文件,python,memory-management,gpu,pytorch,memory-mapped-files,Python,Memory Management,Gpu,Pytorch,Memory Mapped Files,我发现可以使用CUDA写入内存映射文件(参考) 我想知道在Pytorch中是否有可能将cuda挂载的tensor目录写入存储在GPU上的mem映射 这样做的目的是在每个训练步骤后加快张量的书写速度。目前, with torch.no_grad(): numpyMemmap[arrayOfRandomIndexes] = u_embeddings.weight.data.detach().cpu().numpy() 需要6秒钟。我想这是因为numpy内存映射存储在CPU上。我需要一个能在
with torch.no_grad():
numpyMemmap[arrayOfRandomIndexes] = u_embeddings.weight.data.detach().cpu().numpy()
需要6秒钟。我想这是因为numpy内存映射存储在CPU上。我需要一个能在几分之一秒内写出的东西,因为我将在每个训练步骤后存储张量,并且将有数十万个训练步骤