Machine learning 为什么';如果我们计算NN',则不起作用;像目标输出那样的错误?

Machine learning 为什么';如果我们计算NN',则不起作用;像目标输出那样的错误?,machine-learning,neural-network,Machine Learning,Neural Network,我有一个神经网络,其中我计算输出层的增量,如下所示: delta_L=输出(i)-L; 而且效果很好。但如果我将其更改为: delta_L = L - Output(i); 那就不行了。(尽管Andrew Ng的课程推荐第二个) 为什么?让我们有一个带有两个隐藏层的三层nn,带有标准符号。nn如下所示: 将成本函数作为训练数据集上的平方损失之和(或平均值)(对于回归,具有连续值输出) 使用反向传播表达式: 如您所见,delta_L在您的符号中是output[i]-L,假设L=y是输出变

我有一个神经网络,其中我计算输出层的增量,如下所示:

delta_L=输出(i)-L;
而且效果很好。但如果我将其更改为:

delta_L = L - Output(i);
那就不行了。(尽管Andrew Ng的课程推荐第二个)


为什么?

让我们有一个带有两个隐藏层的三层nn,带有标准符号。nn如下所示:

将成本函数作为训练数据集上的平方损失之和(或平均值)(对于回归,具有连续值输出)

使用反向传播表达式:


如您所见,
delta_L
在您的符号中是
output[i]-L
,假设
L=y
是输出变量的实际值,
a=output[i]
是nn预测,此表达式与Andrew Ng课程中的表达式匹配,请参阅文章以了解更多详细信息。对于分类/交叉熵损失,我们也可以给出同样的结果。

如果您至少能给我们提供您的信息来源,并使用更好的表示法,那将是最好的选择,L是什么?你对什么感兴趣?关于某些权重的错误,如“增量规则”中的增量,或目标值和输出之间的差异?我说错了,请原谅。所以,L是输出层。