Deep learning 如何解决caffe中全卷积网络的过拟合问题

我在caffe中有一个完全卷积的网络（特别是堆叠的沙漏网络）。在每个卷积层之后，我有一个批量归一化、一个缩放层和一个ReLU层。然而，我遇到了过度装配的问题。通常，我会增加我的数据集（这是不可能的），或者我会使用辍学层，但因为我读到在完全卷积网络中使用辍学层是没有用的，我不知道如何解决这个问题。除了我刚才提到的，还有什么事要做吗。在这种情况下，正则化可能会有所帮助吗？

这是我从互联网上偷来的一张方便的照片。当你的深度学习模式遇到问题时，这是一个方便的图表。你说你听说辍学在Conv不好，但你测试过吗？从那开始，然后继续：

将dropout添加到Conv层，该层具有接近输出的大深度维度

尝试不要深入。这与“深入”相反，你应该在深入之前尝试。首先确保您的简单模型不会过度贴合，然后尝试添加层

如果您仍然过度拟合，并且您已经退出，那么请尝试移除神经元，使以后的Conv层没有那么深

照Z.Kal说的做，通过转换数据集来增加数据量

如果所有这些都没有什么不同，那么请接受这样一个事实，即您的体系结构可能是错误的。您已经在它的深处埋下了一种方法，让它能够逐字存储您提供给它的所有数据，而无需对其进行概括。考虑制作一个挤压点，在这里你有一个比输入数据小的层。

---

更新2020/10/22-经过几年的编码卷积，并尝试了我的嵌入层似乎具有不合理的高协方差问题的原因，我一直跟踪到退出。辍学鼓励协变（顺便说一句，这不好）。我没有放弃，而是使用了其他正则化工具，或者干脆跳过正则化，专注于初始化和体系结构。这是我制作的一个（糟糕的）视频，展示了如何有效地训练超深，以及用于帮助训练和操作超深的技巧

尝试使用增强功能（裁剪、翻转、反转、缩放、平移、旋转等）来增加数据集。经过论证，数据增强是非常棒的。不要不假思索地全力以赴：你的目标是对你的人际网络进行训练，使其了解原始训练集中不存在但你知道在测试集中可能发生的变化。例如，如果你正在处理街道监控图像，将其翻转180度是没有意义的，因为无论是在火车上还是在验证中，显示给神经网络的图像都不会是那样的。嗯，我的网络非常深，我使用的是叠层沙漏网络。我有一个简单的数据集，它由10000个数据样本组成，工作非常好，有点过度拟合。然后我有一个800.000个数据样本的数据集，这些样本根本不收敛。我曾尝试将800.000个样本的数据集简化为5000个样本，然后它也会收敛，但过拟合。你觉得怎么样？这很有趣，会促使我质疑800000套，并进行一些探索！我经常使用文本分析，我发现标签数据中有很大一部分被严重错误地标注，因此我不得不探索这些数据来识别这些区域，并将其排除在外。幸运的是，我有关于文本的元数据（如数据和标记它的团队），而您可能没有关于图像的元数据。因此，如果没有这些信息，我会将800000份分成80批10000份，看看会发生什么。我还尝试从10000型号开始，在minibatchsAs上对其进行再培训，以防过度安装，您的网络末端可能有一个完全连接的层。试着增加50%并增加50%的辍学率。我经常看到的Conv层中有20%（0.8）的辍学率。我对你们的小批量感兴趣，请分享。就我个人而言，我发现在大多数情况下，小到5的小批量可以克服SGD的大多数问题，而超过100的批量具有很高的计算成本，没有任何好处，因此我倾向于从20开始。如果你使用的是一个非常大的批量，那么要看到结果就需要很长的时间。首先，我没有一个完全连接的层，我说我的网络是完全卷积的。其次，

mini_batch

size关于caffe的确切含义是什么？是Caffe中的

batch\u size

参数吗？我已将批处理大小设置为4，因为这是我在不从内存中获取数据的情况下可以拥有的最大数量。但是我在4个GPU上训练，这使得批量大小为4*4=16。对吗？很好的反馈，很有帮助。如果它是完全卷积的，那么坚持使用一个小的辍学率，比如20%。是的，我指的是批量大小。最后，我不确定caffe如何设置多gpu w.r.t批量大小。很抱歉