Neural network 为什么我的神经网络中的误差先增大后减小';你不会变吗?

Neural network 为什么我的神经网络中的误差先增大后减小';你不会变吗?,neural-network,Neural Network,我正在使用一个2层神经网络,其中7个神经元作为隐藏层来预测糖尿病。但根据Matlab显示的图,我的网络的误差先增大,然后不变,而我知道它应该先减小,然后停止变化。我的情况是否可能,或者我的网络工作不正常 似乎您的模型的错误在大约50个纪元之后开始增加。这可能意味着模型拟合过度,或者您提供的数据集太小,模型无法自我推广。您可以遵循以下提示: 使用较小的学习率,如0.001甚至0.0001 确保您有一个具有相当多样本的数据集 使用退出层。它们在大多数用例中都非常优秀。尝试将速率保持在0.3或0.4

我正在使用一个2层神经网络,其中7个神经元作为隐藏层来预测糖尿病。但根据Matlab显示的图,我的网络的误差先增大,然后不变,而我知道它应该先减小,然后停止变化。我的情况是否可能,或者我的网络工作不正常


似乎您的模型的错误在大约50个纪元之后开始增加。这可能意味着模型拟合过度,或者您提供的数据集太小,模型无法自我推广。您可以遵循以下提示:

  • 使用较小的学习率,如0.001甚至0.0001
  • 确保您有一个具有相当多样本的数据集
  • 使用退出层。它们在大多数用例中都非常优秀。尝试将速率保持在0.3或0.4
  • 此外,如果过度训练模型,它将超过最小值,损失将增加。实验观察到网络在几个时代都表现良好。(在你的例子中,可能是25个时代)

  • 谢谢,它可以工作,但我还有一个问题,这真的困扰着我。我的网络无法预测数据,即使是用它们训练过的数据。您认为我的网络存在什么类型的问题?请尝试发布您网络的代码或相关描述。