Deep learning 泄漏ReLU的缺点是什么?

Deep learning 泄漏ReLU的缺点是什么?,deep-learning,conv-neural-network,activation-function,relu,Deep Learning,Conv Neural Network,Activation Function,Relu,我们使用ReLu而不是Sigmoid激活函数,因为它不存在类似于Sigmoid激活函数的消失和爆炸梯度问题, Leaky ReLU是rely的改进之一。每个人都在谈论泄漏的ReLU的优点。但是泄漏的ReLU有什么缺点呢?ReLU取代了隐藏层中的sigmoid,因为它在通用应用中产生了更好的结果,但这取决于您的情况,其他激活功能可能会更好。泄漏的ReLU有助于解决vainishing梯度问题 我认为Leaky ReLU的主要缺点是你有另一个参数需要调整,斜率。但是我要说的是,这实际上取决于你的问题

我们使用ReLu而不是Sigmoid激活函数,因为它不存在类似于Sigmoid激活函数的消失和爆炸梯度问题,

Leaky ReLU是rely的改进之一。每个人都在谈论泄漏的ReLU的优点。但是泄漏的ReLU有什么缺点呢?

ReLU取代了隐藏层中的sigmoid,因为它在通用应用中产生了更好的结果,但这取决于您的情况,其他激活功能可能会更好。泄漏的ReLU有助于解决vainishing梯度问题

我认为Leaky ReLU的主要缺点是你有另一个参数需要调整,斜率。但是我要说的是,这实际上取决于你的问题,哪个函数更好用。

冒险:
利基雷卢是“凡人”。
如果你玩够了你的Relu神经网络,一些神经元就会死亡。(特别是L1、L2正常化)很难检测到死亡神经元。更难纠正它们。
缺点:
您将在每个历元上添加计算工作。(乘法比赋值零更难)
根据工作的不同,您可能需要更多的时间来实现融合。
负z处的斜率是另一个参数,但不是一个非常关键的参数。
当你达到很低的学习速度时,一个死亡的神经元往往保持死亡状态