Fatal编程技术网
  • algorithm/
  • Algorithm 反向传播算法中权值变化的不同方法？

Algorithm 反向传播算法中权值变化的不同方法？

algorithm neural-network

Algorithm 反向传播算法中权值变化的不同方法？,algorithm,neural-network,backpropagation,Algorithm,Neural Network,Backpropagation,我一直在使用我的参考编码反向传播。但是，今天，我发现它使用了与我相同的参考，但使用了另一种改变突触重量的方法。这两种方法有什么不同 编辑 谢谢你的快速回复 主要区别在于： 第一种方法是在计算每个神经元（节点）的δ后改变突触的重量 在第二种方法中，根据上面一层的增量计算突触重量后计算增量 注意：如果仍然不清楚，我将编辑此说明。谢谢。相等的计算 由于当前层的增量取决于上面层和当前层之间的权重层，因此这两种方法都是正确的。 但是在计算下面图层的增量之前，调整图层的输入权重是不正确的！ 方程式

我一直在使用我的参考编码反向传播。但是，今天，我发现它使用了与我相同的参考，但使用了另一种改变突触重量的方法。这两种方法有什么不同

编辑 谢谢你的快速回复

主要区别在于：

  • 第一种方法是在计算每个神经元（节点）的δ后改变突触的重量
  • 在第二种方法中，根据上面一层的增量计算突触重量后计算增量
    • 注意：如果仍然不清楚，我将编辑此说明。谢谢。

    相等的计算 由于当前层的增量取决于上面层和当前层之间的权重层，因此这两种方法都是正确的。

    但是在计算下面图层的增量之前，调整图层的输入权重是不正确的！

    方程式

    与其链接到这两个站点，并期望我们阅读所有这些教程，不如在这里描述这两种方法。 
    Here you can see the mathmatical equation for calculating the derivative 
of the Error with respect to the weights depends on the weights between 
this layer and the layer above. (using Sigmoid)
O_i = the layer below   # ex: input
O_k = the current layer # ex: hidden layer
O_o = the layer above   # ex: output layer