Artificial intelligence 在神经网络中,偏差是否会改变激活函数的阈值?

Artificial intelligence 在神经网络中,偏差是否会改变激活函数的阈值?,artificial-intelligence,neural-network,threshold,perceptron,bias-neuron,Artificial Intelligence,Neural Network,Threshold,Perceptron,Bias Neuron,我已经阅读了一些关于这方面的其他问题(以及相关的答案),但我仍然有疑问:增加阈值激活函数的偏差会改变阈值吗?据我所知,增加一个偏置会使激活函数沿x轴移动,所以它也会改变阈值 假设我们只有一个输入节点和一个输出节点,输入节点有一个阈值激活函数,阈值设置为0。现在如果我们给1作为输入,神经元将激活并返回到输出节点,但是如果我们添加一个权重为2的偏差节点,连接到输入节点,并给以前的输入1,神经元将不再激活,因为现在我们必须至少到达2才能激活它。这可以被认为是“改变”阈值吗?你读过这些关于偏见的非常好的

我已经阅读了一些关于这方面的其他问题(以及相关的答案),但我仍然有疑问:增加阈值激活函数的偏差会改变阈值吗?据我所知,增加一个偏置会使激活函数沿x轴移动,所以它也会改变阈值


假设我们只有一个输入节点和一个输出节点,输入节点有一个阈值激活函数,阈值设置为0。现在如果我们给1作为输入,神经元将激活并返回到输出节点,但是如果我们添加一个权重为2的偏差节点,连接到输入节点,并给以前的输入1,神经元将不再激活,因为现在我们必须至少到达2才能激活它。这可以被认为是“改变”阈值吗?

你读过这些关于偏见的非常好的解释吗:和

正如在第一个链接中所说的那样,偏差将使曲线发生偏移,因此计算结果将更加多变。我认为如果你已经使用了偏置,你不需要使用阈值(将阈值设置为0),因为偏置和阈值在沿x轴移动激活函数时做的事情是相同的

但我认为偏见比阈值更有效。这是因为偏差值只是权重,可以像神经网络中的任何其他权重一样精确计算。除权重外,阈值需要单独计算。其中有一些有趣的偏差和阈值比较

这是一个用偏差计算的神经网络:

这就是门槛

两者都会产生相同的结果。如果您对完整的计算感兴趣,可以阅读上面的encog wiki

所以我认为你的问题“偏差是否会改变激活函数的阈值”的答案是肯定的。在我关于混合遗传算法和神经网络的论文中,我尝试了这两种方法,最后只使用了偏差并将阈值设置为0


我希望我的回答能对你有所帮助,但如果你对我的回答还有其他问题,请在评论中提问:)

你读过这些关于偏见的非常好的解释了吗

正如在第一个链接中所说的那样,偏差将使曲线发生偏移,因此计算结果将更加多变。我认为如果你已经使用了偏置,你不需要使用阈值(将阈值设置为0),因为偏置和阈值在沿x轴移动激活函数时做的事情是相同的

但我认为偏见比阈值更有效。这是因为偏差值只是权重,可以像神经网络中的任何其他权重一样精确计算。除权重外,阈值需要单独计算。其中有一些有趣的偏差和阈值比较

这是一个用偏差计算的神经网络:

这就是门槛

两者都会产生相同的结果。如果您对完整的计算感兴趣,可以阅读上面的encog wiki

所以我认为你的问题“偏差是否会改变激活函数的阈值”的答案是肯定的。在我关于混合遗传算法和神经网络的论文中,我尝试了这两种方法,最后只使用了偏差并将阈值设置为0


我希望我的回答能对您有所帮助,但如果您对我的回答有其他问题,请在评论中提问:)

添加偏见可以让您学习一个全新的函数类。在2D中考虑一个线性决策线:没有偏倚,它必须通过原点,偏倚不受约束。添加偏置可以让你学习一个全新的函数类。考虑2D中的线性决策线:没有偏见,它必须通过原点,偏倚不受限制。