Neural network 神经网络中激活特征的大小与学习稳定性
如果我故意增加神经网络的层权重，我假设会出现过拟合现象。使用ReLU作为激活函数，这种现象会增加神经元对输入的敏感性，并导致几个神经元归零，同时强调较少的相关连接 鉴于上述陈述，并使用ReLU，我预计非零输出的值将相应增加，这可能最终导致学习不稳定（？），因为我们在下一层使用不断增长的高值输入 现在，想象一下，在促进重量增加的同时，我限制ReLU的正输出为≤1、重量最终会稳定吗Neural network 神经网络中激活特征的大小与学习稳定性,neural-network,relu,Neural Network,Relu,如果我故意增加神经网络的层权重，我假设会出现过拟合现象。使用ReLU作为激活函数，这种现象会增加神经元对输入的敏感性，并导致几个神经元归零，同时强调较少的相关连接 鉴于上述陈述，并使用ReLU，我预计非零输出的值将相应增加，这可能最终导致学习不稳定（？），因为我们在下一层使用不断增长的高值输入 现在，想象一下，在促进重量增加的同时，我限制ReLU的正输出为≤1、重量最终会稳定吗