Machine learning 如何修改标准多层网络的反向传播,包括每层的标量增益?

Machine learning 如何修改标准多层网络的反向传播,包括每层的标量增益?,machine-learning,neural-network,backpropagation,Machine Learning,Neural Network,Backpropagation,考虑一个标准的多层网络,包括每层的标量增益。m层的净输入将计算为: n^m=β^m[W^mα^m− 1+b^m] 其中β^m是层m处的标量增益。该增益将像网络的权重和偏差一样进行训练 如何修改此新网络的反向传播算法 更新β^m时会添加什么新方程式 这是本书的一个练习 E11.13 神经网络设计(第二版)-马丁·T·哈根、霍华德·B·德米特、马克·H·比尔、奥兰多·德·耶酥 将增益视为一个偏差,但它是相乘的(我假设您将输入相乘)。这样您就可以轻松地修改it@Recessive是的,但更新新标量增

考虑一个标准的多层网络,包括每层的标量增益。m层的净输入将计算为: n^m=β^m[W^mα^m− 1+b^m]

其中β^m是层m处的标量增益。该增益将像网络的权重和偏差一样进行训练

如何修改此新网络的反向传播算法

更新β^m时会添加什么新方程式

这是本书的一个练习

E11.13


神经网络设计(第二版)-马丁·T·哈根、霍华德·B·德米特、马克·H·比尔、奥兰多·德·耶酥


将增益视为一个偏差,但它是相乘的(我假设您将输入相乘)。这样您就可以轻松地修改it@Recessive是的,但更新新标量增益的方程式是什么?是我写的方程,我不确定这些变量代表什么。虽然我能猜到,但要用纯数学的形式破译这个道具通常是很困难的。我可以给你一个关于标量增益的方程(假设它是每层1个标量增益),它是:a_n是标量增益(1索引)之前的激活n,β_n是第n层的标量增益,我认为这和你会发现的一样简单。啊,对不起,E是误差函数,所以当我说∂E/∂β、 我是指误差对标量增益的偏导数。我不确定是否有PDF,我只是很快用latex写下了这个方程,这样我就可以给你们看了