Neural network Don';难道神经网络中的所有神经元都会激发/激活吗?

Neural network Don';难道神经网络中的所有神经元都会激发/激活吗?,neural-network,activation-function,Neural Network,Activation Function,激活函数和博客/帖子不断提到神经元未被激活或未被激发,这让我有点困惑 但从数学上讲,如果任何激活函数(无论是sigmoid,tanh,relu)计算出的输出值都是0,那么这个值不是仍然会被赋予下一层中所有连接的神经元吗? 如果是这样的话,这不意味着这个神经元仍在放电/激活吗 还是我错了,神经元真的没有放电,它真的没有给下一层中任何连接的神经元提供任何价值?这在数学上是如何工作的 请帮我澄清我的困惑:)诸如“未激活”、“未激发”之类的表达,以及“神经元”这一术语本身,都只是隐喻性的描述,不应该从表

激活函数和博客/帖子不断提到神经元未被激活或未被激发,这让我有点困惑

但从数学上讲,如果任何激活函数(无论是sigmoid,tanh,relu)计算出的输出值都是0,那么这个值不是仍然会被赋予下一层中所有连接的神经元吗? 如果是这样的话,这不意味着这个神经元仍在放电/激活吗

还是我错了,神经元真的没有放电,它真的没有给下一层中任何连接的神经元提供任何价值?这在数学上是如何工作的

请帮我澄清我的困惑:)

诸如“未激活”、“未激发”之类的表达,以及“神经元”这一术语本身,都只是隐喻性的描述,不应该从表面上看。它们只是用来口头描述机器学习中使用的(人工)神经网络和生物的实际神经网络之间的(非常)松散的类比,但仅此而已


正如您正确怀疑的那样,在这种情况下,“神经元”确实会产生输出值0,并在网络中传播。因为,实际上,那里没有任何神经元,只有计算机程序中的变量,出于数学和计算的原因,这些变量必须始终有一个值。

啊,感谢上帝!我已经认为这是因为生物学上的比较,但像“不激活”这样的词一直让我很反感。谢谢你消除了我的困惑!我想现在删除这个问题,但如果有一个人感到困惑,可能会有更多:)谢谢!