Neural network 为什么pytorch有两种非线性激活？_Neural Network_Deep Learning_Pytorch_Tensor_Activation Function

Neural network 为什么pytorch有两种非线性激活？

neural-network deep-learning pytorch

Neural network 为什么pytorch有两种非线性激活？,neural-network,deep-learning,pytorch,tensor,activation-function,Neural Network,Deep Learning,Pytorch,Tensor,Activation Function,为什么pytorch有两种非线性激活非线性激活（加权和、非线性）：非线性激活（其他）：主要区别在于非线性激活（加权和、非线性）下列出的函数只执行阈值化，而不规范化输出。（即，合成张量不一定等于1，无论是在整体上还是沿着某些指定轴/dimension）非线性示例： nn.ReLU nn.乙状结肠 nn.SELU nn.Tanh 而非线性激活（其他）下列出的非线性执行阈值化和标准化（即，如果未指定轴/dim张力，则整个张量的合成张量总和为1；或者沿指定轴/dim张力）非线性示例：（注意

为什么pytorch有两种非线性激活

非线性激活（加权和、非线性）：

非线性激活（其他）：

主要区别在于非线性激活（加权和、非线性）下列出的函数只执行阈值化，而不规范化输出。（即，合成张量不一定等于1，无论是在整体上还是沿着某些指定轴/

dim

ension）

非线性示例：

nn.ReLU
nn.乙状结肠
nn.SELU
nn.Tanh

而非线性激活（其他）下列出的非线性执行阈值化和标准化（即，如果未指定轴/

dim

张力，则整个张量的合成张量总和为1；或者沿指定轴/

dim

张力）

非线性示例：（注意分母中的归一化项）

但是，除了

nn.LogSoftmax（）

之外，由于我们将log应用于softmax输出，因此其合成张量的总和不等于1