Deep learning CNN：验证损失的减少速度比训练损失慢得多，这很正常吗？

我正在训练一个CNN U-net模型，用于图像的语义分割，但是训练损失似乎以比验证损失快得多的速度减少，这正常吗

我使用的是0.002的损失

培训和验证损失可在下图中看到：

---

是的，这是完全正常的

当神经网络学习时，它从训练样本中推断，它在每次迭代中都知道得更好。验证集在培训期间从未使用过，这就是为什么它如此重要的原因

基本上：

• 只要验证损失减少（甚至略微减少），就意味着神经网络仍然能够更好地学习/推广
• 一旦验证失败停滞，你就应该停止训练
• 如果继续训练，验证损失可能会再次增加，这称为过度拟合。简言之，这意味着神经网络“背诵”训练数据，而不是真正推广到未知样本（如验证集中）

我们通常使用提前停止来避免最后一次：基本上，如果您的验证损失在X次迭代中没有改善，请停止训练（X是一个值，例如5或10）