Machine learning 如何理解支持向量机中的函数裕度?
我正在阅读Andrew NG的机器学习笔记,但功能裕度的定义让我困惑:Machine learning 如何理解支持向量机中的函数裕度?,machine-learning,classification,svm,Machine Learning,Classification,Svm,我正在阅读Andrew NG的机器学习笔记,但功能裕度的定义让我困惑: 我可以理解几何边界是从x到它的超平面的距离,但是如何理解函数边界呢?为什么他们这样定义它的公式呢?这样想:w^T.x_i+b是模型对第i个数据点的预测。是它的标签。如果预测值和地面真实值具有相同的符号,那么伽马_i将为正。这个实例的类边界越“深入”,gamma_i就越大:这更好,因为在所有i中求和,类之间的间隔就越大。如果预测和标签在符号上不一致,则该数量将为负值(预测者的错误决策),这将降低您的保证金,并且越不正确(类似
我可以理解几何边界是从x到它的超平面的距离,但是如何理解函数边界呢?为什么他们这样定义它的公式呢?这样想:w^T.x_i+b是模型对第i个数据点的预测。是它的标签。如果预测值和地面真实值具有相同的符号,那么伽马_i将为正。这个实例的类边界越“深入”,gamma_i就越大:这更好,因为在所有i中求和,类之间的间隔就越大。如果预测和标签在符号上不一致,则该数量将为负值(预测者的错误决策),这将降低您的保证金,并且越不正确(类似于松弛变量),保证金将减少得越多 功能裕度用于缩放 几何裕度=功能裕度/标准(w)
或者,当范数(w)=1时,边距为几何边距功能边距: 这将给出点相对于平面的位置,该位置不取决于幅值 几何边距:
这给出了给定训练示例和给定平面之间的距离 您可以根据以下两个假设将功能裕度转换为几何裕度:
例如,只考虑下面的行,它们是相同的,但功能余量会变化(功能裕度的限制)。
功能裕度只是给出了一个关于我们分类的信心的想法,没有具体的内容 请阅读以下参考资料以了解更多详情 如果y(i)=1,那么为了使功能裕度大(即,为了使我们的预测可靠和正确),我们需要wTx+b是一个大的正数。相反,如果y(i)=−1,那么函数裕度要大,我们需要wTx+b是一个大的负数。此外,如果y(i)(wTx+b)>0,那么我们对这个例子的预测是正确的。(你自己检查一下。)因此,较大的功能裕度代表着自信和正确的预测公式是这样的,因为您可以使用“内核”函数将值映射到另一个高维空间。该函数的示例为多项式或RBF。可能,功能边距是特定功能在映射空间上的几何边距!!这个问题比较老,但我链接的重复问题似乎有一个更好的答案()。
2*x + 3*y + 1 = 0
4*x + 6*y + 2 = 0
20*x + 30*y +10 = 0