Machine learning 封闭形式的解决方案是否总是过拟合？
因为我们有一些机器学习问题的闭式解，比如线性回归。它们的O（D^3）复杂度更高（D是从输入中导出的特征数），但使用闭合形式导出的解是否总是过拟合Machine learning 封闭形式的解决方案是否总是过拟合？,machine-learning,regression,linear-regression,Machine Learning,Regression,Linear Regression,因为我们有一些机器学习问题的闭式解，比如线性回归。它们的O（D^3）复杂度更高（D是从输入中导出的特征数），但使用闭合形式导出的解是否总是过拟合 我知道封闭形式的解决方案需要更长的计算能力，这对于更多的特征可能不可行 我也知道梯度下降，无神论梯度下降等等。。以较低的复杂性生成足够接近的解决方案 只是想了解，使用封闭形式的解决方案是否会有任何好处？是：简而言之，您已经找到了该数据集的最佳解决方案。根据定义，人口样本的闭式解将过度拟合该样本。但是，请注意，如果样本是整个总体，那么您的解决方案必然是最
只是想了解，使用封闭形式的解决方案是否会有任何好处？是：简而言之，您已经找到了该数据集的最佳解决方案。根据定义，人口样本的闭式解将过度拟合该样本。但是，请注意，如果样本是整个总体，那么您的解决方案必然是最优的 各种“潜入”解决方案（例如梯度下降）专门设计用于通过启发式方法在您指定的任意小误差范围内找到相同的解决方案。这是数值分析的灵魂。：-）
在大多数情况下，只有在需要精确解进行进一步的理论推导时，闭式解才是有益的。在某些情况下，它的预测速度更快（仅向前传递），因为它的权重要少得多。但是，预测通常受到I/O速度的限制，而不受模型复杂性的限制。通常情况下，这是不正确的，但在某些情况下，在实践中是正确的 假设你有数以百万计的观察结果和数千个特征，你将线性回归拟合到设计矩阵的第一个主成分。这是封闭形式不过度拟合的第一种情况：N远大于P 或者，岭回归有一个封闭形式的解决方案。它是R，它是
solve（crossprod（X）+lambda*diag（rep（1，nrow（X）））%*%t（X）%*%y