Neural network 反向传播算法中的权值更新

Neural network 反向传播算法中的权值更新,neural-network,artificial-intelligence,backpropagation,Neural Network,Artificial Intelligence,Backpropagation,我想我已经理解了反向传播算法的每一步,但最重要的一步。如何更新权重?就像在本教程的最后一样 重量更新是通过您提供的页面最后部分()中的公式完成的。 让我详细说明一下: 新权重=旧权重-学习率x损失函数w.r.t.参数的偏导数 对于给定的权重,计算(可以通过反向传播误差轻松完成)它只是函数的最陡方向,然后减去它的缩放版本,缩放因子是步长或在该方向上要进行的步长。 看了你问问题的方式后,我觉得你可能需要一点澄清 什么是反向传播? 反向传播只是一种技巧,可以快速计算损失函数的偏导数w.r.t.所有权重

我想我已经理解了反向传播算法的每一步,但最重要的一步。如何更新权重?就像在本教程的最后一样

重量更新是通过您提供的页面最后部分()中的公式完成的。 让我详细说明一下:

新权重=旧权重-学习率x损失函数w.r.t.参数的偏导数

对于给定的权重,计算(可以通过反向传播误差轻松完成)它只是函数的最陡方向,然后减去它的缩放版本,缩放因子是步长或在该方向上要进行的步长。 看了你问问题的方式后,我觉得你可能需要一点澄清

什么是反向传播?


反向传播只是一种技巧,可以快速计算损失函数的偏导数w.r.t.所有权重。它与重量更新无关。更新权重是梯度下降算法的一部分。

我投票将这个问题作为离题题来结束,因为它与NN实现无关。为什么是新的权重=旧的权重减去。。。而不是旧的重量加上…?@datdinhquoc,这取决于你如何计算误差/损失。例如,如果您确实获得了\u值-目标值,则需要添加权重,否则需要减去权重。