Deep learning 10倍测试对测量过盈是否有意义?

Deep learning 10倍测试对测量过盈是否有意义?,deep-learning,conv-neural-network,Deep Learning,Conv Neural Network,据我所知,如果1。收敛太快2。验证损失不断增加 同样,据我所知,除非您使验证损失收敛到与培训损失类似的趋势,否则无法解决此问题,因此您可以进行更多的数据扩充等 然而,我读过的许多论文都声称,10倍是稳健性的标志,并表明该模型没有过度拟合。然而,当我重新创建这些实验时,我可以说,无论它们是否显示出强大的精确度,它们都是过度拟合的。此外,许多人似乎认为他们只需增加10倍,这是很好的。在评论中,他们也只要求进行10倍的实验来解决过度装配的问题 我拿错了吗?是否有希望验证损失不会收敛,但会上升?或者除了

据我所知,如果1。收敛太快2。验证损失不断增加

同样,据我所知,除非您使验证损失收敛到与培训损失类似的趋势,否则无法解决此问题,因此您可以进行更多的数据扩充等

然而,我读过的许多论文都声称,10倍是稳健性的标志,并表明该模型没有过度拟合。然而,当我重新创建这些实验时,我可以说,无论它们是否显示出强大的精确度,它们都是过度拟合的。此外,许多人似乎认为他们只需增加10倍,这是很好的。在评论中,他们也只要求进行10倍的实验来解决过度装配的问题


我拿错了吗?是否有希望验证损失不会收敛,但会上升?或者除了验证损失之外还有其他衡量标准吗?

我假设,10倍检验意味着10倍交叉验证

通常,交叉验证仅在非常小的数据集上有用,即样本少于1000个

过度拟合意味着模型的复杂度远远高于需要。过度拟合的一个典型标志是学习精度非常高,而验证精度较低

因此,使用10倍交叉验证本身可能无法防止过度拟合。 考虑两个例子:

首先,学习准确率为99.8%,交叉验证准确率为70%

第二,学习准确率77%,10倍交叉验证准确率70%

在这两种情况下,相同的10倍交叉验证导致70%的准确率。然而,第一种情况显然过于恰当,而第二种情况并非如此


我希望,这澄清了情况。

我的意思是使用10次分割进行实验,很多论文进行此实验是为了能够说他们每次都能得到接近的结果,比如说70次左右,但由于他们从未写过他们的模型如何收敛于学习损失,我们无法知道他们是否过度拟合,我们不应该更关心损失吗?我不确定在这种情况下我们是否需要关心损失。如果你能提供这样一篇论文的典型例子,那会很有帮助。好的,谢谢,我想你说的是验证我对过度拟合的理解,除了我更关注损失,比如说我有一个学习acc为92,验证acc为87的模型,虽然学习损失已收敛到1%以下,但验证损失约为8,事实上,它从未真正收敛过一段时间,然后再次增加到比开始更近的范围。我认为这个模型太过合适了许多论文只提供了10倍的测试准确度,而且在学习上没有任何东西,我认为有些论文确实太过合适了