Artificial intelligence 在神经网络中,当反向传播时,为什么我们在导数前面加负数?

Artificial intelligence 在神经网络中,当反向传播时,为什么我们在导数前面加负数?,artificial-intelligence,backpropagation,derivative,Artificial Intelligence,Backpropagation,Derivative,我在学习神经网络。我大致了解它的工作原理,但仍有一件事不清楚。为什么我们把负数放在导数前面?如果导数本身是负的,它不应该只是导数吗?我的意思是,如果a点的梯度已经是负的,那么负号不应该出现。不是吗?请提供帮助。反向传播中的导数回答了这个问题: 如果我增加体重(x),减重(y)会有多大变化 对于正导数-减少损失,我们必须减少重量。为了减少重量,我们只需要减去正值 对于负导数-减少损失,我们必须增加重量。为此,我们需要减去负值。 对于这两种情况,我们都需要用与导数相同的符号减去值 w1=w0-导数

我在学习神经网络。我大致了解它的工作原理,但仍有一件事不清楚。为什么我们把负数放在导数前面?如果导数本身是负的,它不应该只是导数吗?我的意思是,如果a点的梯度已经是负的,那么负号不应该出现。不是吗?请提供帮助。

反向传播中的导数回答了这个问题: 如果我增加体重(x),减重(y)会有多大变化

对于正导数-减少
损失,我们必须减少
重量。为了减少重量,我们只需要减去正值

对于负导数-减少
损失,我们必须增加
重量。为此,我们需要减去负值。

对于这两种情况,我们都需要用与导数相同的符号减去值

w1=w0-导数

衍生品也回答了一个问题:损失会有多大变化? 但它并不完全准确,因为它告诉我们多少,只针对当前点的平坦坡度。为了更好地控制我们可以使用多少因子学习率

w1=w0-lr*导数