Neural network 分类器神经网络的最后一层是否同时使用sigmoid和softmax？_Neural Network_Classification_Softmax_Sigmoid

Neural network 分类器神经网络的最后一层是否同时使用sigmoid和softmax？

neural-network

Neural network 分类器神经网络的最后一层是否同时使用sigmoid和softmax？,neural-network,classification,softmax,sigmoid,Neural Network,Classification,Softmax,Sigmoid,分类器网络的隐藏层使用sigmoid或其他激活函数引入非线性并规范化数据，但最后一层是否结合softmax使用sigmoid 我有一种感觉，这并不重要，网络将以任何方式进行训练——但是否应该单独使用softmax层？还是应该先应用sigmoid功能？一般来说，在softmax输出层之前没有必要再激活sigmoid。由于sigmoid函数是一个函数，它只需将值连续两次压缩成[0,1]间隔，这将得到几乎均匀的输出分布。当然，你可以通过它来传播，但是它的效率要低得多顺便说一句，如果您选择不使用ReL

分类器网络的隐藏层使用sigmoid或其他激活函数引入非线性并规范化数据，但最后一层是否结合softmax使用sigmoid

我有一种感觉，这并不重要，网络将以任何方式进行训练——但是否应该单独使用softmax层？还是应该先应用sigmoid功能？

一般来说，在softmax输出层之前没有必要再激活sigmoid。由于sigmoid函数是一个函数，它只需将值连续两次压缩成

[0,1]

间隔，这将得到几乎均匀的输出分布。当然，你可以通过它来传播，但是它的效率要低得多

顺便说一句，如果您选择不使用ReLu，tanh绝对比sigmoid好。

谢谢！你能告诉我一个资源，在那里我可以阅读更多关于tanh vs sigmoid的分类器吗？“我以前见过他们被描述为极为相似的人。”埃文斯维斯堡当然，强烈推荐这篇文章-