Pytorch 如何在torch.nn.parallel.DistributedDataParallel中设置环境变量？_Pytorch

Pytorch 如何在torch.nn.parallel.DistributedDataParallel中设置环境变量？

pytorch

Pytorch 如何在torch.nn.parallel.DistributedDataParallel中设置环境变量？,pytorch,Pytorch,我试图用分布式数据并行性来训练我的代码，我已经用torch.nn.DataParallel进行了训练，现在我想看看如果我用torch.nn.parallel.DistributedDataParallel进行训练，我可以在训练速度上获得多少收益，因为我在许多页面上读到使用分布式数据并行会更好。因此，我遵循了其中一个示例，但我不确定如何设置以下环境变量（os.environ['MASTER\u ADDR']和os.environ['MASTER\u PORT']），因为我使用的是云服务，所以我不确

我试图用分布式数据并行性来训练我的代码，我已经用

torch.nn.DataParallel

进行了训练，现在我想看看如果我用

torch.nn.parallel.DistributedDataParallel

进行训练，我可以在训练速度上获得多少收益，因为我在许多页面上读到使用分布式数据并行会更好。因此，我遵循了其中一个示例，但我不确定如何设置以下环境变量（

os.environ['MASTER\u ADDR']

和

os.environ['MASTER\u PORT']

），因为我使用的是云服务，所以我不确定我的代码分配给哪个特定节点来训练我的模型。有人能帮我设置这些变量吗？

我有一个完全相同的问题，你得到答案了吗？我有一个完全相同的问题，你得到答案了吗？