Machine learning 在深层神经网络的最后一层之前的那一层，我应该使用哪一个激活函数？_Machine Learning_Deep Learning_Neural Network_Data Science_Activation Function

Machine learning 在深层神经网络的最后一层之前的那一层，我应该使用哪一个激活函数？

machine-learning deep-learning neural-network

Machine learning 在深层神经网络的最后一层之前的那一层，我应该使用哪一个激活函数？,machine-learning,deep-learning,neural-network,data-science,activation-function,Machine Learning,Deep Learning,Neural Network,Data Science,Activation Function,我有一个单标签多类的数据集。。我想在这个数据集上构建深度神经网络分类器。很明显，最后一层的激活函数将是Softmax。但我很好奇在最后一层之前我应该使用哪个激活函数（Relu，Sigmoid，tanh）。另外，请给出一种直觉。您可以使用上述三种方法中的任何一种，甚至更多。尽管事实上，“ReLu”的计算速度比其他两个更快，其导数的计算速度也更快。这对神经网络的训练和推理时间有很大的影响：只有一个常数因子，但常数可能很重要。然而，一般来说，倾向于ReLu的主要原因是它不太容易受到消失梯度问题的影响

我有一个单标签多类的数据集。。我想在这个数据集上构建深度神经网络分类器。很明显，最后一层的激活函数将是Softmax。但我很好奇在最后一层之前我应该使用哪个激活函数（Relu，Sigmoid，tanh）。另外，请给出一种直觉。

您可以使用上述三种方法中的任何一种，甚至更多。尽管事实上，“ReLu”的计算速度比其他两个更快，其导数的计算速度也更快。这对神经网络的训练和推理时间有很大的影响：只有一个常数因子，但常数可能很重要。然而，一般来说，倾向于ReLu的主要原因是它不太容易受到消失梯度问题的影响