Machine learning 如何理解支持向量机中的函数裕度?

Machine learning 如何理解支持向量机中的函数裕度?,machine-learning,classification,svm,Machine Learning,Classification,Svm,我正在阅读Andrew NG的机器学习笔记,但功能裕度的定义让我困惑: 我可以理解几何边界是从x到它的超平面的距离,但是如何理解函数边界呢?为什么他们这样定义它的公式呢?这样想:w^T.x_i+b是模型对第i个数据点的预测。是它的标签。如果预测值和地面真实值具有相同的符号,那么伽马_i将为正。这个实例的类边界越“深入”,gamma_i就越大:这更好,因为在所有i中求和,类之间的间隔就越大。如果预测和标签在符号上不一致,则该数量将为负值(预测者的错误决策),这将降低您的保证金,并且越不正确(类似

我正在阅读Andrew NG的机器学习笔记,但功能裕度的定义让我困惑:


我可以理解几何边界是从x到它的超平面的距离,但是如何理解函数边界呢?为什么他们这样定义它的公式呢?

这样想:w^T.x_i+b是模型对第i个数据点的预测。是它的标签。如果预测值和地面真实值具有相同的符号,那么伽马_i将为正。这个实例的类边界越“深入”,gamma_i就越大:这更好,因为在所有i中求和,类之间的间隔就越大。如果预测和标签在符号上不一致,则该数量将为负值(预测者的错误决策),这将降低您的保证金,并且越不正确(类似于松弛变量),保证金将减少得越多

功能裕度用于缩放

几何裕度=功能裕度/标准(w)


或者,当范数(w)=1时,边距为几何边距

功能边距:

这将给出点相对于平面的位置,该位置不取决于幅值

几何边距:


这给出了给定训练示例和给定平面之间的距离

您可以根据以下两个假设将功能裕度转换为几何裕度:

  • ||w | |==1,因此(w^T)x+b==((w^T)x+b)/| | w | |,这是从点x到线y的几何距离=(w^T)x+b

  • 目标只有两类,其中y_i只能是+1和-1。因此,如果y_i的符号与点x所在直线的边相匹配(当(w^T)x+b>0时y_i>0,当(w^T)x+b<0时y_i<0),那么乘以y_i就相当于得到距离(w^T)x+b的绝对值

  • 对于这个问题

    为什么他们这样定义它的公式

    说明:功能裕度不能告诉我们不同点到分离平面/线的确切距离或测量值

    例如,只考虑下面的行,它们是相同的,但功能余量会变化(功能裕度的限制)。

    功能裕度只是给出了一个关于我们分类的信心的想法,没有具体的内容

    请阅读以下参考资料以了解更多详情

    如果y(i)=1,那么为了使功能裕度大(即,为了使我们的预测可靠和正确),我们需要wTx+b是一个大的正数。相反,如果y(i)=−1,那么函数裕度要大,我们需要wTx+b是一个大的负数。此外,如果y(i)(wTx+b)>0,那么我们对这个例子的预测是正确的。(你自己检查一下。)因此,较大的功能裕度代表着自信和正确的预测


    公式是这样的,因为您可以使用“内核”函数将值映射到另一个高维空间。该函数的示例为多项式或RBF。可能,功能边距是特定功能在映射空间上的几何边距!!这个问题比较老,但我链接的重复问题似乎有一个更好的答案()。
    2*x  + 3*y  + 1 = 0 
    4*x  + 6*y  + 2 = 0 
    20*x + 30*y +10 = 0