Neural network 权重，如何以矩阵形式书写？_Neural Network_Backpropagation

Neural network 权重，如何以矩阵形式书写？

neural-network

Neural network 权重，如何以矩阵形式书写？,neural-network,backpropagation,Neural Network,Backpropagation,在具有sigmoid激活函数的神经网络的反向传播中权重更新规则由以下公式给出： NewWeight = OldWeight - alpha * D * A 其中alpha是学习速率，A是前一层的激活 D = (Y - Y')Y'(1-Y') ;D = Error Minimization, delta 其中Y=给定值，Y'由输出层在神经网络中计算在我的例子中，Y是4x1=[0.3,0.2,0.4,0.1]，Y'的一个实例是4x1=[0.2,0.1,0.1,0.2] 如何计算D=（Y-Y'

在具有sigmoid激活函数的神经网络的反向传播中

权重更新规则由以下公式给出：

NewWeight = OldWeight - alpha * D * A

其中alpha是学习速率，A是前一层的激活

D = (Y - Y')Y'(1-Y') ;D = Error Minimization, delta

其中Y=给定值，Y'由输出层在神经网络中计算

在我的例子中，Y是4x1=[0.3,0.2,0.4,0.1]，Y'的一个实例是4x1=[0.2,0.1,0.1,0.2]

如何计算D=（Y-Y'）Y'（1-Y'）

（Y-Y'）=4x1和Y'=4x1，因此矩阵乘法是不可能的。（1-Y'）也是4x1。如何将{（Y-Y'）、Y'、（1-Y'）}相乘得到D？如果我必须执行转置，我应该转置哪个矩阵以使净效应保持不变

还是元素乘法？

它确实是元素乘法。您需要将每个输出误差（Y-Y'）乘以相应输出（w.r.t.权重）的导数，即sigmoid激活的Y'（1-Y'）。将其视为一个“已纠正的错误信号”。因此，D*A是一个向量外积，它将给你一个与权重大小相同的矩阵。

它确实是元素相乘。您需要将每个输出误差（Y-Y'）乘以相应输出（w.r.t.权重）的导数，即sigmoid激活的Y'（1-Y'）。将其视为一个“已纠正的错误信号”。所以，D*A是一个向量外积，它会给你一个矩阵，它的大小和权重相同