Neural network 为什么ReLU只能在隐藏层中使用？
在上一篇文章中，我读到ReLU应该只在隐藏层中使用。为什么会这样Neural network 为什么ReLU只能在隐藏层中使用？,neural-network,Neural Network,在上一篇文章中，我读到ReLU应该只在隐藏层中使用。为什么会这样 我有一个带回归任务的神经网络。它输出一个介于0和10之间的数字。我认为ReLU在这里是一个不错的选择，因为它不会返回小于0的数字。输出层的最佳激活功能是什么？通常，您仍然可以使用输出层的激活功能。我经常使用Sigmoid激活函数在0-1范围内压缩输出，效果非常好 当使用Relu时，你应该考虑的一个原因是它们能产生死亡的神经元。这意味着在某些情况下，您的网络可以生成网络不会更新的区域，并且输出始终为0。 本质上，如果输出中有ReLU
我有一个带回归任务的神经网络。它输出一个介于0和10之间的数字。我认为ReLU在这里是一个不错的选择，因为它不会返回小于0的数字。输出层的最佳激活功能是什么？通常，您仍然可以使用输出层的激活功能。我经常使用Sigmoid激活函数在0-1范围内压缩输出，效果非常好 当使用Relu时，你应该考虑的一个原因是它们能产生死亡的神经元。这意味着在某些情况下，您的网络可以生成网络不会更新的区域，并且输出始终为0。
本质上，如果输出中有ReLU，则根本没有渐变，请参阅以了解更多详细信息 如果你在初始化过程中很小心，我不明白为什么它不应该工作