Algorithm 如何最小化此函数并将其应用于反向传播算法

Algorithm 如何最小化此函数并将其应用于反向传播算法,algorithm,neural-network,data-mining,minimization,Algorithm,Neural Network,Data Mining,Minimization,我现在正在研究挖掘数据的反向传播算法。我试图将相关论文中的几个算法应用到我的案例中。 在这里,我发现,其中一人说“应用反向传播算法更新权重(w,v)并最小化以下函数”: θ(w,v)=F(w,v)+p(w,v) 其中F(w,v)是交叉熵函数,p(w,v)是惩罚项。 我不明白这是什么意思,因为我发现编程术语中的“最小化”有几个含义 请给我一些建议,我应该如何使用该函数,以及如何将其应用到反向传播中 谢谢。Backprop是一种计算损失函数wrt的导数/梯度的算法。神经网络的权值。当与优化算法(通常

我现在正在研究挖掘数据的反向传播算法。我试图将相关论文中的几个算法应用到我的案例中。 在这里,我发现,其中一人说“应用反向传播算法更新权重(w,v)并最小化以下函数”:

θ(w,v)=F(w,v)+p(w,v)

其中F(w,v)是交叉熵函数,p(w,v)是惩罚项。 我不明白这是什么意思,因为我发现编程术语中的“最小化”有几个含义

请给我一些建议,我应该如何使用该函数,以及如何将其应用到反向传播中


谢谢。

Backprop是一种计算损失函数wrt的导数/梯度的算法。神经网络的权值。当与优化算法(通常为梯度下降法或共轭梯度法,尽管也使用其他算法)相结合时,它可用于找到使训练集上的损失函数最小化的NN权重

也就是说,建议通过最小化正则交叉熵损失来训练神经网络。这就是通常所说的“训练”神经网络进行分类的意思,也是许多神经网络库/工具包实际做的事情

(当然,如果p是一些非标准惩罚项,您可能需要自己实现backprop或找到一个可扩展的工具包;不可微惩罚项也可能需要更改优化算法。)