Machine learning 为什么偏倚在ANN中是必要的？我们应该为每一层单独设置偏差吗？_Machine Learning_Neural Network_Bias Neuron

Machine learning 为什么偏倚在ANN中是必要的？我们应该为每一层单独设置偏差吗？

machine-learning neural-network

Machine learning 为什么偏倚在ANN中是必要的？我们应该为每一层单独设置偏差吗？,machine-learning,neural-network,bias-neuron,Machine Learning,Neural Network,Bias Neuron,我想建立一个模型来预测输入信号的未来响应，我的网络结构是[3,5,1]： 3输入隐藏层中有5个神经元，以及输出层1个神经元我的问题是：我们应该为每个隐藏层和输出层分别设置偏差吗我们是否应该为每一层的偏差分配权重（因为偏差成为我们网络的额外价值，并导致网络负担过重）为什么“偏差”总是设置为1？如果eta有不同的值，为什么不用不同的值设置偏差为什么我们总是对非线性函数使用对数S形函数，我们可以使用tanh吗所以，如果我们退一步，讨论一下偏置单元在神经网络中的作用，我想大部分问题都

我想建立一个模型来预测输入信号的未来响应，我的网络结构是[3,5,1]：

3输入
隐藏层中有5个神经元，以及
输出层1个神经元

我的问题是：

我们应该为每个隐藏层和输出层分别设置偏差吗

我们是否应该为每一层的偏差分配权重（因为偏差成为我们网络的额外价值，并导致网络负担过重）

为什么“偏差”总是设置为1？如果eta有不同的值，为什么不用不同的值设置偏差

为什么我们总是对非线性函数使用对数S形函数，我们可以使用tanh吗

所以，如果我们退一步，讨论一下偏置单元在神经网络中的作用，我想大部分问题都会解决

偏差单位意味着允许网络中的单位学习适当的阈值（即，在达到某个总输入后，开始发送正激活），因为正常情况下，正总输入意味着正激活

例如，如果某个神经元x的偏差单位权重为-2，那么如果所有其他输入加起来大于-2，则神经元x将提供正激活

因此，在这个背景下，你的答案是：

不，一个偏置输入总是足够的，因为它可以根据每个单位的重量对不同的神经元产生不同的影响

一般来说，将偏差权重分配给每个非输入单元是一个好主意，因为否则那些没有偏差权重的单元的阈值将始终为零

由于阈值，一旦学会，应在整个试验中保持一致。记住每个单元如何与输入交互的偏差；它本身不是一个输入

你当然可以，很多人也可以。任何sqaushing函数通常作为激活函数工作

请参阅[此较早的][1]帖子。这有一个很好的解释。[1]: