Neural network 验证损失先上升后下降

我在失去训练的时候有一些奇怪的行为，我不知道是什么原因造成的。轴是损失与时代的对比

这里发生了两件事：首先，验证损失开始与训练损失一起下降，然后它们开始严重偏离。我假设这是某种形式的过度拟合，即使验证损失会在以后的某个时间点恢复-对吗

然后，验证损失再次出现，以应对培训损失——在这里，它与培训损失的巨大峰值相吻合

有没有人对造成这种情况的原因有任何见解，以及可以采取哪些措施来确保事情顺利进行

---

这是使用Adam Optimizer获得的，在本例中是在卷积自动编码器上获得的，但我也在LSTM上获得了这一点

我在不平衡数据集上也有过类似的经历，模型往往只产生1类输出。然后，它反转了决策边界，在一个单一的时代里，性能非常糟糕。我建议查看数据集中的不规则性。这可以说是每一类样本之间的平衡，也可以说是基本事实设置不当

---

无论如何，在不知道用例和/或数据的情况下，很难准确判断出哪里出了问题。

你的x轴是什么？抱歉。编辑的意思是x轴是纪元数。我看不出有什么问题。这可能是数据中的噪声，在收敛之前，您的网络过拟合训练集。试着检查你的数据和你的规则化我已经对它进行了进一步的训练并编辑了上面的图片。我不认为它会收敛…谢谢。这里没有我能想到的平衡问题——这是一个通过卷积编码器-解码器的图像分割问题。然而，数据非常少，所以这可能是造成这种情况的原因。在较小的网络上，这看起来会更好地融合。