Deep learning 如何在pytorch中正确使用分布式数据并行
我对PyTorch比较陌生，但我对Keras&TensorFlow有很好的经验。我遵循这一点在我自己的培训脚本中使用DDP。然而，出于某种原因，我最终总是得到： 进程0已终止，退出状态为1 我曾尝试在多个GPU平台（Google Colab、Kaggle、Floyd Hub）上运行相同的代码，但所有这些平台几乎都给我带来了相同的错误 我还尝试禁用了Deep learning 如何在pytorch中正确使用分布式数据并行,deep-learning,pytorch,lstm,Deep Learning,Pytorch,Lstm,我对PyTorch比较陌生，但我对Keras&TensorFlow有很好的经验。我遵循这一点在我自己的培训脚本中使用DDP。然而，出于某种原因，我最终总是得到： 进程0已终止，退出状态为1 我曾尝试在多个GPU平台（Google Colab、Kaggle、Floyd Hub）上运行相同的代码，但所有这些平台几乎都给我带来了相同的错误 我还尝试禁用了join=True选项，但是培训过程甚至没有开始 DDP相关代码： def设置（排名、世界大小）： os.environ['MASTER\u ADDR
join=Truedef设置（排名、世界大小）：
os.environ['MASTER\u ADDR']='localhost'
操作系统环境['MASTER_PORT']='12355'
#初始化进程组
dist.init\u进程组（“gloo”，等级=等级，世界大小=世界大小）
#显式设置种子以确保在两个进程中创建模型
#从相同的随机权重和偏差开始。
手电筒。手动种子（42）
def cleanup（）：
地区销毁处理组（）
def运行演示（fn，*参数）：
下院议员(
fn，
args=（args[0]、args[1]、args[2]、args[3]、args[4]），
nprocs=1，#也尝试了2次，但没有区别
join=True
)
def系列（型号，X，批次尺寸=32，历次=75，坡度=0）：
设置（1，2）
设备=模型。获取默认设备（）
model=model.to（设备，非阻塞=True）
ddp_model=ddp（model，device_id=[0]）#只有一个GPU
# ...
ddp_model.hidden_enc=ddp_model.init_hidden_enc（）
ddp_model.hidden_dec=ddp_model.init_hidden_dec（）
ddp_模型列车（）
对于范围内的ep（历次）：
损失br=0；nb_批量_步骤=0
对于步骤，枚举中的批处理（数据加载程序）：
batch=batch.to（设备，非阻塞=True）
nb_批量_步骤+=1
损耗=ddp_型号（批次）
# ...
清理（）
如果名称=“\uuuuu main\uuuuuuuu”：
运行演示(
火车，
模型
持有人[：]，#X
32,
75,
3.
)
spawn.pystatus code>1