Deep learning 神经网络中密集层之后的激活函数有多必要？
我目前正在训练多重递归卷积神经网络，这是我第一次使用深度q学习 输入为11x11x1矩阵，每个网络由4个卷积层组成，尺寸为3x3x16、3x3x32、3x3x64、3x3x64。我使用步幅=1和填充=1。每个层之后都会激活ReLU。输出馈入一个具有128个单元的前馈全连接密集层，然后馈入一个同样包含128个单元的LSTM层。两个紧随其后的致密层产生各自的优势和价值流 因此，培训已经进行了几天，现在我意识到（在我阅读了一些相关文章之后），我没有在第一个密集层之后添加激活功能（就像大多数文章一样）。我想知道添加一个是否会显著改善我的网络？由于我正在为大学培训网络，我没有无限的时间进行培训，因为我的工作有一个最后期限。然而，我在训练神经网络方面没有足够的经验来决定做什么。。。Deep learning 神经网络中密集层之后的激活函数有多必要？,deep-learning,neural-network,pytorch,activation-function,densenet,Deep Learning,Neural Network,Pytorch,Activation Function,Densenet,我目前正在训练多重递归卷积神经网络，这是我第一次使用深度q学习 输入为11x11x1矩阵，每个网络由4个卷积层组成，尺寸为3x3x16、3x3x32、3x3x64、3x3x64。我使用步幅=1和填充=1。每个层之后都会激活ReLU。输出馈入一个具有128个单元的前馈全连接密集层，然后馈入一个同样包含128个单元的LSTM层。两个紧随其后的致密层产生各自的优势和价值流 因此，培训已经进行了几天，现在我意识到（在我阅读了一些相关文章之后），我没有在第一个密集层之后添加激活功能（就像大多数文章一样）。
你有什么建议？我感谢每一个答案 如果我必须在一般情况下讲话，使用激活函数可以帮助您在网络中包含一些非线性属性 激活函数的目的是向函数（即神经网络）添加某种非线性特性。如果没有激活函数，神经网络只能执行从输入x到输出y的线性映射。为什么会这样 如果没有激活函数，正向传播过程中唯一的数学运算将是输入向量和权重矩阵之间的点积。由于单个点积是一个线性运算，连续的点积只不过是一个接一个重复的多个线性运算。连续的线性运算可以看作是一次学习运算 没有任何激活函数的神经网络将无法在数学上实现如此复杂的映射，也无法解决我们希望网络解决的任务