Neural network XOR函数学习神经网络中引起停滞的初始权值
我有一个有两个输入变量的神经网络，一个隐藏层有两个神经元，输出层有一个输出神经元。当我从一些随机（从0到1）生成的权重开始时，网络学习XOR函数非常快而且很好，但在其他情况下，网络永远不会学习XOR函数！你知道为什么会这样吗？我怎样才能克服这个问题？会不会有一些混乱的行为？谢谢 这是非常正常的情况，因为多层神经网络的误差函数不是凸的，优化收敛到局部极小值 您可以只保留导致成功优化的初始权重，或者从不同权重开始多次运行optimizer，并保留最佳解决方案。优化算法和学习速率也起着一定的作用，例如动量反向传播和/或随机梯度下降有时效果更好。此外，如果你添加了更多的神经元，超出了学习XOR所需的最小值，这也会有所帮助 有一些方法设计用于寻找全局最小值，如模拟退火，但在实践中，除了某些特定情况外，它们并不常用于神经网络优化Neural network XOR函数学习神经网络中引起停滞的初始权值,neural-network,xor,chaos,Neural Network,Xor,Chaos,我有一个有两个输入变量的神经网络，一个隐藏层有两个神经元，输出层有一个输出神经元。当我从一些随机（从0到1）生成的权重开始时，网络学习XOR函数非常快而且很好，但在其他情况下，网络永远不会学习XOR函数！你知道为什么会这样吗？我怎样才能克服这个问题？会不会有一些混乱的行为？谢谢 这是非常正常的情况，因为多层神经网络的误差函数不是凸的，优化收敛到局部极小值 您可以只保留导致成功优化的初始权重，或者从不同权重开始多次运行optimizer，并保留最佳解决方案。优化算法和学习速率也起着一定的作用，例如