Machine learning 切点处的解是最优解吗?

Machine learning 切点处的解是最优解吗?,machine-learning,neural-network,gradient-descent,regularized,Machine Learning,Neural Network,Gradient Descent,Regularized,根据我在文章中的理解,蓝色圆圈是水平曲线,蓝色圆点是使成本函数最小化的最佳解决方案。黄色圆圈是L2范数约束 我们需要的解决方案是尽可能地最小化成本函数,同时也在循环内。也就是说,解决方案是黄色圆和水平曲线之间的切点 但是,我的问题是,如果切点处的W值不完全最小化代价函数,这怎么可能是解决方案?只有蓝点是使成本函数最小化的点 如果没有约束,蓝点最小化成本函数。 如果最小化受L2范数约束,则蓝点不能是解决方案,因为它违反了约束。因此,点w*是解 使用L2约束的原因是,我们试图最小化测试数据上的误差,

根据我在文章中的理解,蓝色圆圈是水平曲线,蓝色圆点是使成本函数最小化的最佳解决方案。黄色圆圈是L2范数约束

我们需要的解决方案是尽可能地最小化成本函数,同时也在循环内。也就是说,解决方案是黄色圆和水平曲线之间的切点

但是,我的问题是,如果切点处的W值不完全最小化代价函数,这怎么可能是解决方案?只有蓝点是使成本函数最小化的点


如果没有约束,蓝点最小化成本函数。 如果最小化受L2范数约束,则蓝点不能是解决方案,因为它违反了约束。因此,点w*是解


使用L2约束的原因是,我们试图最小化测试数据上的误差,而不是列车数据上的误差,即我们对最小化损失函数没有直接兴趣。具有较小L2范数的较简单解决方案往往过拟合较少,因此我们预计测试和训练误差之间的差距较小,这是可取的

这不是一个编程问题,它离题了。