Python 在Pytorch上使用多个gpu

我有两个GPU，它们都是CUDA设备，但我不知道如何使用它们来训练我的下一个型号： 对于github存储库，我将其作为项目的基本代码。我唯一重要的改变是：

    resnet152_model = resnet.resnext50_32x4d(pretrained=True)
    model = resnet152_model
    model = nn.DataParallel(model).to(device)

我的设备所在的位置：

device = torch.device('cuda')

如果我写cuda，它应该使用所有可用的GPU，但它不是。它使用我的第一个GPU，如果我写下：

torch.cuda.set_device(1)

我的错误是什么？如何使我的代码使用多个GPU