Machine learning 为什么正规化可以';不接受Φ;作为惩罚参数?

Machine learning 为什么正规化可以';不接受Φ;作为惩罚参数?,machine-learning,Machine Learning,为什么正则化不能接受Φ作为惩罚参数?但接受Φ^2(L2)和|Φ|(L1) 还有其他惩罚参数形式吗?正则化项通常是向量范数,因为它输出一个标量值,表示特定空间中向量的长度。这里重要的是它是一个标量值,而不是向量。不能将单个向量用作正则化项,因为正则化值将添加到损失函数中,而损失函数也是标量。因此,您需要从这个向量计算一些标量并使用它,而这正是向量范数所做的。正如您所想象的,将标量值作为正则化项非常直观:越高,正则化就越多 是的,还有其他一些正则化方法。例如,弹性网方法,它结合了L1和L2范数函数。

为什么正则化不能接受Φ作为惩罚参数?但接受Φ^2(L2)和|Φ|(L1)


还有其他惩罚参数形式吗?

正则化项通常是向量范数,因为它输出一个标量值,表示特定空间中向量的长度。这里重要的是它是一个标量值,而不是向量。不能将单个向量用作正则化项,因为正则化值将添加到损失函数中,而损失函数也是标量。因此,您需要从这个向量计算一些标量并使用它,而这正是向量范数所做的。正如您所想象的,将标量值作为正则化项非常直观:越高,正则化就越多

是的,还有其他一些正则化方法。例如,弹性网方法,它结合了L1和L2范数函数。但通常,最流行的是单L1(套索回归)和单L2(岭回归)。我还鼓励您寻找正则化术语背后的贝叶斯假设,它们非常有趣,并且是一种完全不同的观点;)
在其他算法家族(如神经网络)中,正则化是通过提前停止来完成的,或者在变分自动编码器中,具有潜在变量分布中各向同性高斯的先验信念。

我投票结束这个问题,因为它不是关于中定义的编程,而是关于ML理论和/或方法-请参阅机器学习中的介绍和注记。。谢谢。尽管有些人投票决定关闭。但是谢谢你的解释。