Deep learning 反向传播是否使用优化功能来更新权重?

Deep learning 反向传播是否使用优化功能来更新权重?,deep-learning,backpropagation,optimizer-deeplearning,Deep Learning,Backpropagation,Optimizer Deeplearning,我知道反向传播计算成本函数相对于模型参数(权重和偏差)的导数。然而,我需要确保反向传播不会更新权重和偏差;相反,它使用优化器来更新权重和偏差,如Adam、梯度下降等 如果我能很好地理解您的问题,请提前感谢:当您在深度学习框架(PyTorch/TensorFlow)中使用优化器时,请说“Adam”,优化器正在执行权重更新。此过程是自动进行的,您无需手动编写任何代码,框架会为您更新权重+偏差。是否每个反向传播步骤都使用优化器算法更新权重?反向传播本身没有能力更新权重吗?当你谈论“普通反向传播”时,你

我知道反向传播计算成本函数相对于模型参数(权重和偏差)的导数。然而,我需要确保反向传播不会更新权重和偏差;相反,它使用优化器来更新权重和偏差,如Adam、梯度下降等


如果我能很好地理解您的问题,请提前感谢:当您在深度学习框架(PyTorch/TensorFlow)中使用优化器时,请说“Adam”,优化器正在执行权重更新。此过程是自动进行的,您无需手动编写任何代码,框架会为您更新权重+偏差。

是否每个反向传播步骤都使用优化器算法更新权重?反向传播本身没有能力更新权重吗?当你谈论“普通反向传播”时,你实际上是在谈论梯度下降+反向传播+SGD(随机梯度下降优化器)。因此,实际上,是的,但请记住,不仅是反向传播,而且是反向传播+优化器,后者决定权重更新的方式优化器可以是Adam、SGD、ADADDelta、RMSProp。。。等等