Deep learning 雷卢什么时候杀死神经元？
我对即将死亡的雷卢问题感到困惑。雷卢只会在向前传球时杀死神经元？还是在向后传球的时候？ 开始时的随机初始化和后退过程中的消失梯度的组合可能会导致这样一种状态，即在前进过程中，某些单位永远不会被激活（或者我们可以说某些神经元永远不会激发）。此外，下一次向后传球可能没有足够大的坡度来改变状态Deep learning 雷卢什么时候杀死神经元？,deep-learning,activation-function,relu,Deep Learning,Activation Function,Relu,我对即将死亡的雷卢问题感到困惑。雷卢只会在向前传球时杀死神经元？还是在向后传球的时候？ 开始时的随机初始化和后退过程中的消失梯度的组合可能会导致这样一种状态，即在前进过程中，某些单位永远不会被激活（或者我们可以说某些神经元永远不会激发）。此外，下一次向后传球可能没有足够大的坡度来改变状态