Pytorch 当训练OpenAI自动存储塔上采样器时，损失值在一段时间后变得疯狂_Pytorch_Openai

Pytorch 当训练OpenAI自动存储塔上采样器时，损失值在一段时间后变得疯狂

pytorch

Pytorch 当训练OpenAI自动存储塔上采样器时，损失值在一段时间后变得疯狂,pytorch,openai,Pytorch,Openai,在使用OpenAI光盘机培训上采样器时，在第一个纪元结束时（大约2天后），出现了更多“向后溢出”消息，最终损失值增加了20。有什么问题吗？使用相同数据的VQVAE培训工作没有任何问题 98% 28837/29318 [51:38:38<51:38, 6.44s/it, bpd=5.07, g_l=5.07, gn=43.4, l=5.07, p_l=0] Warning. Loss is 25.929014205932617 Overflow in backward. Loss

在使用OpenAI光盘机培训上采样器时，在第一个纪元结束时（大约2天后），出现了更多“向后溢出”消息，最终损失值增加了20。有什么问题吗？使用相同数据的VQVAE培训工作没有任何问题


 98% 28837/29318 [51:38:38<51:38,  6.44s/it, bpd=5.07, g_l=5.07, gn=43.4, l=5.07, p_l=0]

Warning. Loss is 25.929014205932617

Overflow in backward. Loss 25.929014205932617, grad norm nan, lgscale -7.203999999995833, new lgscale -8.203999999995833

 98% 28838/29318 [51:38:45<51:46,  6.47s/it, bpd=5.07, g_l=5.07, gn=43.4, l=5.07, p_l=0]

Warning. Loss is 26.65635871887207

 98% 28838/29318 [51:38:52<51:46,  6.47s/it, bpd=26.7, g_l=26.7, gn=1.01e+8, l=26.7, p_l=0]
 98% 28839/29318 [51:38:52<53:08,  6.66s/it, bpd=26.7, g_l=26.7, gn=1.01e+8, l=26.7, p_l=0]```


98% 28837/29318 [51:38:38