Deep learning NVLink是否使用DistributedDataParallel加速培训？_Deep Learning_Pytorch_Nvidia_Distributed Computing_Nvlink

Deep learning NVLink是否使用DistributedDataParallel加速培训？

deep-learning pytorch

Deep learning NVLink是否使用DistributedDataParallel加速培训？,deep-learning,pytorch,nvidia,distributed-computing,nvlink,Deep Learning,Pytorch,Nvidia,Distributed Computing,Nvlink,Nvidia加速了同一台机器上多个GPU之间的数据传输。我用Pytork在这样的机器上训练大型模型我明白为什么NVLink会使训练更快，因为一次通过一个模型将涉及多个GPU 但是，它会使用吗？在kgpu上的数据并行训练是如何工作的？您将小批量分成k个部分，每个部分在不同的GPU上转发，并在每个GPU上估计梯度。然而，（这是非常关键的）更新权重必须在所有GPU之间同步。这也是NVLink对于数据并行训练的重要性所在。这很有意义，谢谢。NVLink的训练速度有没有经验法则，或者完全取决于具体情

Nvidia加速了同一台机器上多个GPU之间的数据传输。我用Pytork在这样的机器上训练大型模型

我明白为什么NVLink会使训练更快，因为一次通过一个模型将涉及多个GPU

但是，它会使用吗？

在

gpu上的数据并行训练是如何工作的？

您将小批量分成

个部分，每个部分在不同的GPU上转发，并在每个GPU上估计梯度。然而，（这是非常关键的）更新权重必须在所有GPU之间同步。这也是NVLink对于数据并行训练的重要性所在。

这很有意义，谢谢。NVLink的训练速度有没有经验法则，或者完全取决于具体情况？@AGLC速度受许多参数的影响