Machine learning 为什么我的神经网络从不过度拟合？_Machine Learning_Neural Network_Deep Learning_Deep Residual Networks

Machine learning 为什么我的神经网络从不过度拟合？

machine-learning neural-network deep-learning

Machine learning 为什么我的神经网络从不过度拟合？,machine-learning,neural-network,deep-learning,deep-residual-networks,Machine Learning,Neural Network,Deep Learning,Deep Residual Networks,我正在用游戏数据训练一个有10个隐藏层的深度剩余网络有人知道为什么我在这里没有穿得过火吗？经过100次训练后，训练和测试损失仍在减少只有几条建议：对于深度学习，建议进行90/10或95/5分割（Andrew Ng）曲线之间的这一微小差异意味着您的学习率没有调整；尝试增加它（如果您要实现某种“智能”lr reduce，可能还需要增加时代的数量） DNN尝试过拟合少量数据（10-100行）和大量迭代也是合理的检查集合中的数据泄漏：每个层中的权重分析可能会在这方面帮助您也许是因为培训和验

我正在用游戏数据训练一个有10个隐藏层的深度剩余网络

有人知道为什么我在这里没有穿得过火吗？经过100次训练后，训练和测试损失仍在减少

只有几条建议：

对于深度学习，建议进行90/10或95/5分割（Andrew Ng）

曲线之间的这一微小差异意味着您的

学习率没有调整；尝试增加它（如果您要实现某种“智能”lr reduce，可能还需要增加时代的数量）


DNN尝试过拟合少量数据（10-100行）和大量迭代也是合理的
检查集合中的数据泄漏：每个层中的权重分析可能会在这方面帮助您
也许是因为培训和验证数据之间没有太大的差异？应该是这样的。它被洗牌并随机分成训练和验证数据。我试过80/20和50/50。输入是博弈状态，输出是获胜概率。通过自我游戏生成。行动空间巨大。所以数据应该是不同的。网络不够复杂？我使用BatchNormals，这能以某种方式防止过度拟合吗？也许您正处于欠拟合状态，需要增加模型的复杂性。看起来你的训练损失已经稳定在0.2，不能保证一个模型在给定的时间段后会开始过度拟合；看（关于射频，但原理是一样的）。嘿，伙计们，谢谢你们的评论。不幸的是，我仍然无法得到任何过度装修。我尝试了一个更复杂（更深更广）和更不复杂的网络，我只尝试了一个非常小的数据集，我尝试了Adam的学习率降到0.0000000001，我尝试了数千个学习时期。很奇怪。。。这可能是我的原因吗？我不使用任何退出或L2正则化。所以，关闭它。尝试过拟合没有任何BM的小数据集。我完全删除了所有BM层只是为了测试目的。我的模型再也学不到什么了。所以，如果你连一个小的集合都不能过拟合，那可能是你的神经网络有一个错误的架构。试着从最简单的开始，一步一步地增加复杂性。此外，最好是更深，而不是更宽。顺便说一句，你使用分层分割吗？