Neural network 对神经网络阈值的理解

Neural network 对神经网络阈值的理解,neural-network,activation-function,Neural Network,Activation Function,考虑假设的神经网络 我说得对吗?我认为这里不适合问这种问题。你会在网上找到很多资源。对于您的简单情况,每个链接都有一个权重,因此neuron 3的输入基本上是: Neuron3输入=Neuron1输出*链路神经元1to3的重量+Neuron2输出*链路神经元2to3的重量 +偏见。 然后,要获得输出,只需使用激活函数。神经元3输出=F_激活(神经元3输入) O3=F(O1*W1+O2*W2+偏倚)阈值用于二元神经元(我忘记了技术名称),而偏倚用于乙状结肠(几乎所有现代)神经元。你对阈值的理解是正

考虑假设的神经网络


我说得对吗?

我认为这里不适合问这种问题。你会在网上找到很多资源。对于您的简单情况,每个链接都有一个权重,因此neuron 3的输入基本上是:

Neuron3输入=Neuron1输出*链路神经元1to3的重量+Neuron2输出*链路神经元2to3的重量 +偏见。 然后,要获得输出,只需使用激活函数。神经元3输出=F_激活(神经元3输入)


O3=F(O1*W1+O2*W2+偏倚)

阈值用于二元神经元(我忘记了技术名称),而偏倚用于乙状结肠(几乎所有现代)神经元。你对阈值的理解是正确的,但这同样适用于输出为1或0的神经元,这对学习(优化)不是很有用。对于乙状结肠神经元,您只需添加偏差(之前是阈值,但移动到方程的另一侧),因此输出为f(权重*输入+偏差)。sigmoid函数所做的(大部分)是将输出限制在0到1之间的值

请有人编辑上面的内容。它说我正在使用一个代码,我不得不缩进它,因为它不允许我发布。此外,数学没有正确显示请不要介意,但我确实在互联网上搜索了很多例子,但我找不到任何显式计算的地方done@AdamJohnston谢谢通常使用矩阵表示层,然后乘以矩阵并添加偏差矩阵。
$o_1$ is the output of neuron 1.  
$o_2$ is the output of neuron 2.  
$w_1$ is the weight of connection between 1 and 3.   
$w_2$ is the weight of connection between 2 and 3.  
So the input to neuron 3 is $i =o_1w_1 +o_2w_2$   
Let the activation function of neuron 3 be sigmoid function.  
$f(x) = \dfrac{1}{1+e^{-x}}$ and the threshold value of neuron 3 be $\theta$.  
Therefore, output of neuron 3 will be $f(i)$ if $i\geq\theta$ and $0$ if $i\lt\theta$.