Fatal编程技术网
  • deep-learning/
  • Deep learning PyTorch：如何根据每个GPU的性能分配培训工作？

Deep learning PyTorch：如何根据每个GPU的性能分配培训工作？

deep-learning pytorch

Deep learning PyTorch：如何根据每个GPU的性能分配培训工作？,deep-learning,pytorch,gpu,Deep Learning,Pytorch,Gpu,我遇到了这样一个问题，即尝试用两个GPU训练神经网络。一个是英伟达1070，另一个是英伟达2070。显然，2070比1070快，因此，如果我只在每个样本中加入相同数量的训练样本，1070将成为减慢训练过程的瓶颈 我想做的是让这两个GPU做不同的工作量。例如，如果我的批量大小为100，我希望我的2070卡可以处理其中的80%，1070卡可以处理其中的20%。PyTorch提供的现有API是否可能做到这一点？PyTorch的DataParallel和DistributedDataParallel似乎

我遇到了这样一个问题，即尝试用两个GPU训练神经网络。一个是英伟达1070，另一个是英伟达2070。显然，2070比1070快，因此，如果我只在每个样本中加入相同数量的训练样本，1070将成为减慢训练过程的瓶颈

我想做的是让这两个GPU做不同的工作量。例如，如果我的批量大小为100，我希望我的2070卡可以处理其中的80%，1070卡可以处理其中的20%。PyTorch提供的现有API是否可能做到这一点？PyTorch的
DataParallel
和
DistributedDataParallel
似乎不支持这一点。

不，在当前的实现中，它不支持。@Berriel谢谢您的信息，先生。认识到这一点是非常令人失望的：（不，就目前的实施情况而言，情况并非如此。@Berriel感谢您提供的信息，先生。认识到这一点是非常令人失望的：(