Math 支持向量机几何直觉

嗨， 我很难理解为什么在支持向量机的超平面方程中有一个1在>=？？w、 x+b>=1

此边界称为“边距”，必须最大化，然后必须最小化| | w |。 支持向量机的目标是找到一个能够最大化两组之间距离的超平面

然而，存在无限解（见图：沿垂直向量移动最优超平面），我们需要至少固定边界：+1或-1是避免这些无限解的常见约定

---

形式上你必须优化r | | w | | | | | | | | | | | | | | | | |=1。

1

只是一个代数简化，在以后的优化中很方便

首先，请注意，所有三个超平面都可以表示为

w'x+b= 0
w'x+b=+A
w'x+b=-A

如果我们固定正常的

w

，

|w | | w | |=1

，那么上述将有一个解决方案，其中包含一些任意的

A

，具体取决于数据，让我们调用我们的解决方案

v

和

c

（分别为最优

w

和

b

）。但是如果我们让

w

有任何范数，那么我们很容易看到，如果我们把

w'x+b= 0
w'x+b=+1
w'x+b=-1

然后有一个唯一的

w

满足这些方程，它由

w=v/A

，

b=c/A

给出，因为

(v/A)'x+(b/A)= 0 (when v'x+b=0) // for the middle hyperplane
(v/A)'x+(b/A)=+1 (when v'x+b=+A) // for the positive hyperplane
(v/A)'x+(b/A)=-1 (when v'x+b=-A) // for the negative hyperplane

换句话说，我们假设这些“支持向量”满足

w'x+b=+/-1

方程，以便将来简化，我们可以这样做，因为对于满足

v'x+c=+/-A

的任何解，我们的方程都有一个解（具有不同的

w

）

因此，一旦我们进行了这些简化，我们的优化问题就简化为最小化

| w | |

的范数（最大化边距大小，现在可以表示为

`2/| w |

）。如果我们坚持使用（不固定！）

A

值的“正常”方程，那么边际的最大化将在另一个“维度”——我们必须通过

w，b，A

来寻找使其最大化的三元组（因为“限制”的形式是

y（w'x+b）>A

）。现在，我们只需搜索

w

和

b

（在双重公式中-只需搜索

alpha

，但这是一个全新的故事）

---

此步骤不是必需的。你可以不用它来构建SVM，但这会使事情变得更简单——奥卡姆剃刀法则。

好吧，但为什么方程中会有这个呢？为什么+1在正平面上，而-1在负平面上？我可能很愚蠢，但我不明白它如何帮助避免非最优超平面。这有助于避免非opt超平面？有几何意义吗？