Neural network 训练神经网络的MSE代价函数

Neural network 训练神经网络的MSE代价函数,neural-network,mean-square-error,Neural Network,Mean Square Error,在一篇关于神经网络和深度学习的文章中,作者从最小化一个二次成本函数的角度阐述了神经网络的基础知识,他说这是均方误差的同义词。但有两件事让我对他的函数感到困惑(下面的伪代码) 微卫星≡(1/2n)*∑‖是真是假 不是用平方误差之和除以训练样本数n,而是为什么用它除以2n?这是什么意思 为什么用双条符号代替括号?这让我想到还有其他一些计算正在进行,比如L2范数的计算,没有明确显示出来。我怀疑事实并非如此,这个术语是用来表示普通的平方误差之和。不过这太令人困惑了 非常感谢您提供的任何见解 符号∥v∥

在一篇关于神经网络和深度学习的文章中,作者从最小化一个二次成本函数的角度阐述了神经网络的基础知识,他说这是均方误差的同义词。但有两件事让我对他的函数感到困惑(下面的伪代码)

微卫星≡(1/2n)*∑‖是真是假

  • 不是用平方误差之和除以训练样本数n,而是为什么用它除以2n?这是什么意思
  • 为什么用双条符号代替括号?这让我想到还有其他一些计算正在进行,比如L2范数的计算,没有明确显示出来。我怀疑事实并非如此,这个术语是用来表示普通的平方误差之和。不过这太令人困惑了
  • 非常感谢您提供的任何见解

    符号∥v∥ 只表示向量v的通常长度函数。从您引用的

    在双栏上查找更多信息。但从我的理解来看,你基本上可以把它看作一个绝对术语

    我不知道为什么它说2n,但它并不总是2n。例如,按如下方式编写函数:


    谷歌也有很多使用维基百科的资源,而不是在线教科书中的一个

    成本函数乘以的0.5系数并不重要。事实上,你可以把它乘以你想要的任何一个实常数,学习结果是一样的。它的使用只是为了使成本函数相对于输出的导数仅为$$y-y{t}$$。这在某些应用中很方便,例如反向传播。

    双栏是距离测量,如果y是多维的,则括号不正确。 对于均方误差,n中没有2,但它并不重要。它将被学习率吸收。 然而,在求导函数时,通常会取消平方数2