Deep learning 泄漏ReLU的缺点是什么？

我们使用ReLu而不是Sigmoid激活函数，因为它不存在类似于Sigmoid激活函数的消失和爆炸梯度问题，

---

Leaky ReLU是rely的改进之一。每个人都在谈论泄漏的ReLU的优点。但是泄漏的ReLU有什么缺点呢？

ReLU取代了隐藏层中的sigmoid，因为它在通用应用中产生了更好的结果，但这取决于您的情况，其他激活功能可能会更好。泄漏的ReLU有助于解决vainishing梯度问题

我认为Leaky ReLU的主要缺点是你有另一个参数需要调整，斜率。但是我要说的是，这实际上取决于你的问题，哪个函数更好用。

冒险：
利基雷卢是“凡人”。
如果你玩够了你的Relu神经网络，一些神经元就会死亡。（特别是L1、L2正常化）很难检测到死亡神经元。更难纠正它们。
缺点：
您将在每个历元上添加计算工作。（乘法比赋值零更难）
根据工作的不同，您可能需要更多的时间来实现融合。
负z处的斜率是另一个参数，但不是一个非常关键的参数。
当你达到很低的学习速度时，一个死亡的神经元往往保持死亡状态