Neural network 当训练神经网络时，什么会导致网络偏离目标而不是收敛？
我使用随机（增量而非批量）方法来训练我的神经网络，在每1000000次迭代后，我打印出网络中神经元的误差总和。有一段时间，我可以看到这个总体误差稳步下降，随着进度开始放缓，它似乎以另一种方式完全逆转，总体误差开始稳步增加。这不可能是正常行为，我也不确定是什么原因造成的。我的学习率设置为非常低的0.0001。我唯一能想到的是火车组偏离了正确的设置。你打印的错误是什么？训练集或测试集？您能显示训练网络的代码和设置新重量的代码吗？Neural network 当训练神经网络时，什么会导致网络偏离目标而不是收敛？,neural-network,Neural Network,我使用随机（增量而非批量）方法来训练我的神经网络，在每1000000次迭代后，我打印出网络中神经元的误差总和。有一段时间，我可以看到这个总体误差稳步下降，随着进度开始放缓，它似乎以另一种方式完全逆转，总体误差开始稳步增加。这不可能是正常行为，我也不确定是什么原因造成的。我的学习率设置为非常低的0.0001。我唯一能想到的是火车组偏离了正确的设置。你打印的错误是什么？训练集或测试集？您能显示训练网络的代码和设置新重量的代码吗？