Machine learning 有目的的过拟合神经网络

从技术上讲，给定一个足够复杂的网络和足够长的时间，是否总是有可能将任何数据集过度拟合到训练误差为0的点？

神经网络是通用近似器，这几乎意味着只要存在从输入到输出的确定性映射f，始终存在一组参数（对于足够大的网络），这些参数使误差任意接近可能的最小误差，但是：

• 如果数据集是无限的（它是一个分布），那么最小可获得误差（称为Bayes风险）可能大于零，而不是某个值e（相当于不同类/值的“重叠”度量）
• 如果映射f是非确定性的，那么同样存在非零Bayes风险e（这是一种数学方法，表示给定点可以具有“多个”值，具有给定的概率）
• 任意接近并不意味着最小。因此，即使最小误差为零，也不意味着你只需要“足够大”的网络就可以达到零，你可能最终得到的是每一个小ε（但你可以减少它，只要你愿意）。例如，一个接受分类任务训练的网络，如果有sigmoid/softmax输出，就永远无法获得最小的日志损失（交叉熵损失），因为您总是可以将激活移动到“接近1”或“接近0”，但您无法实现这两个目标

因此，从数学角度来看，答案是否定的，从实践角度来看，在有限训练集和确定性映射的假设下，答案是肯定的

---

特别是当您询问分类的准确性时，如果您有有限的数据集，每个数据点都有唯一的标签，那么很容易手动构建一个具有100%准确性的神经网络。然而，这并不意味着可能的损失最小（如上所述）。因此，从优化的角度来看，您不会获得“零错误”。

如果数据集有两个相同的样本和不同的标记，则不会