Python Pyrotch分布式列车运行期间，每个过程的精度不同_Python_Parallel Processing_Pytorch

Python Pyrotch分布式列车运行期间，每个过程的精度不同

python parallel-processing pytorch

Python Pyrotch分布式列车运行期间，每个过程的精度不同,python,parallel-processing,pytorch,Python,Parallel Processing,Pytorch,我正在使用torch.distributed.launch和DistributedDataParralel以及4个GPU来训练计算机视觉中的各种任务。在每个过程中输出精度和损失。但我发现每个过程的输出的精度和损失是不同的我想知道这在分布式列车上是否正常。我学习了几本教程，但都得到了相同的结果。如果我做错了什么，请告诉我哪里做错了顺便说一下，我用的是SyncBatchNorm 提前谢谢

我正在使用torch.distributed.launch和DistributedDataParralel以及4个GPU来训练计算机视觉中的各种任务。在每个过程中输出精度和损失。但我发现每个过程的输出的精度和损失是不同的

我想知道这在分布式列车上是否正常。我学习了几本教程，但都得到了相同的结果。如果我做错了什么，请告诉我哪里做错了

顺便说一下，我用的是SyncBatchNorm

提前谢谢