Neural network 通过增加历元的数量,不会过度拟合

Neural network 通过增加历元的数量,不会过度拟合,neural-network,deep-learning,Neural Network,Deep Learning,我在论文中使用了一个带有一个隐藏层的前馈神经网络。Threby我有600个训练数据和104个输入输出值。现在我想展示神经网络的特性,同时也想展示当我增加历元数时的过度拟合。 为此,我首先想找到学习速率和隐藏节点数的最佳值,得到以下结果: 基于此,我决定选择学习率为0.0125和250个隐藏节点。但是通过使用这组参数,当我增加历元数时,我仍然没有过度拟合,可以在这里看到: 在这张图中,我用蓝色显示了我的旧参数集,理论上我想展示当我使用最好的参数集时它是如何改进的,但它只是有一点变化。我也测试

我在论文中使用了一个带有一个隐藏层的前馈神经网络。Threby我有600个训练数据和104个输入输出值。现在我想展示神经网络的特性,同时也想展示当我增加历元数时的过度拟合。 为此,我首先想找到学习速率和隐藏节点数的最佳值,得到以下结果:

基于此,我决定选择学习率为0.0125和250个隐藏节点。但是通过使用这组参数,当我增加历元数时,我仍然没有过度拟合,可以在这里看到:

在这张图中,我用蓝色显示了我的旧参数集,理论上我想展示当我使用最好的参数集时它是如何改进的,但它只是有一点变化。我也测试了它,直到纪元1000,但这个值的准确度仍然是0.830

有人知道为什么会这样吗


非常感谢你的帮助

这篇文章不清楚你到底为什么希望自己的人际网络过度适应。从措辞上看,我怀疑你是在试图证明普遍逼近定理——在这种情况下,这一页可能包含了关键的见解

因此,该定理表明,当给定适当的参数时,简单的神经网络可以表示多种有趣的函数;然而,它不涉及这些参数的算法可学习性


换句话说,您可以保证存在足够大的网络和特定的参数选择,这些参数将(过度)适合您的数据集,但您不能保证在实际使用的任何优化方案中观察到这种过度拟合行为。

非常感谢您提供的信息。是的,我想证明这个定理,但是用我的参数我无法实现它。