何时在Keras模型中使用偏差?

何时在Keras模型中使用偏差?,keras,neural-network,deep-learning,hyperparameters,bias-neuron,Keras,Neural Network,Deep Learning,Hyperparameters,Bias Neuron,我不熟悉凯拉斯的模特。我正在尝试评估建立模型的适当参数。我如何知道何时使用偏差和何时关闭偏差?简而言之,当模型很小时,始终使用偏差变量。否则,仍然建议在所有神经网络结构中继续使用偏差 因为每个神经元的表现都像一个简单的逻辑回归。在每个神经元中,输入值与权重相乘,偏差影响sigmoid函数的初始水平,从而产生所需的非线性 例如,如果在sigmoid函数中,训练数据中的输入为零,如X=[[0,0,…],[0,0,…],Y=1,则输出将始终精确地为Y=0.5,因为X*W为零。然而,在大型网络中,每个节

我不熟悉凯拉斯的模特。我正在尝试评估建立模型的适当参数。我如何知道何时使用偏差和何时关闭偏差?

简而言之,当模型很小时,始终使用偏差变量。否则,仍然建议在所有神经网络结构中继续使用偏差

因为每个神经元的表现都像一个简单的逻辑回归。在每个神经元中,输入值与权重相乘,偏差影响sigmoid函数的初始水平,从而产生所需的非线性

例如,如果在sigmoid函数中,训练数据中的输入为零,如
X=[[0,0,…],[0,0,…],Y=1
,则输出将始终精确地为
Y=0.5
,因为
X*W
为零。然而,在大型网络中,每个节点都可以从其所有输入的平均激活中生成一个偏置节点