我们可以在Pytorch数据加载器中的工作人员之间共享内存吗?

我们可以在Pytorch数据加载器中的工作人员之间共享内存吗?,pytorch,Pytorch,我的数据集依赖于3GB张量。这个张量可以在CPU或GPU上。我的代码的瓶颈是数据加载预处理。但是我不能在不杀死我的公羊的情况下增加几个工人 这听起来很傻:为什么每个工人都能收到一份3GB张量的副本,而每个工人的这一份完全相同 有没有办法让工人们访问这个张量的单一版本 谢谢

我的数据集依赖于3GB张量。这个张量可以在CPU或GPU上。我的代码的瓶颈是数据加载预处理。但是我不能在不杀死我的公羊的情况下增加几个工人

这听起来很傻:为什么每个工人都能收到一份3GB张量的副本,而每个工人的这一份完全相同

有没有办法让工人们访问这个张量的单一版本

谢谢