Kernel 支持向量机：VC维数与核维数的关系

我正在使用Thorsten Joachims的SVM light探索SVM主题

现在根据一些介绍文件：

Rn中定向超平面集的VC维数为n+1[…]

当C=inf时，最优超平面将是完全分离的超平面 假设存在的数据[…]

我准备了一个二维线性可分离数据集，想看看2d硬边距分类器，这是我们从很多插图中了解到的

因此，我选择了以下参数：

d=2的多项式核a*b+cd C=999，以便接近inf 我得到了3个支持向量，这很好，但是估计的VC维数超过10000

---

现在我想知道，如果内核只是二维的，那么是否可能有如此高的VCdim？

VC维与给定解决方案的sv量不匹配

VC维度是模型可以完全粉碎的数据集样本的最大数量，用于与这些点关联的任何标签组合。另一方面，支持向量是定义超平面的点

编辑：

根据你的评论，我将延长我的回答

首先，当你这么说的时候：

当C=inf时，最佳超平面将是一个完全分离数据的超平面，假设数据存在[…]

这并不意味着C和VC维度之间存在直接关系，正如您在说C=999将产生10000的VC维度时所建议的那样。这意味着使用C=inf，您将强制执行所有约束，从而生成硬边界模型—一个完全分离数据的超平面

当应用映射到2维的多项式核时，R^n中有向超平面集的VC维是否为n+1这一事实仍然成立

这在特征空间中是正确的，但请记住，输入空间中的决策边界将不再是超平面，实际上将是非线性的

d=2的多项式核a*b+c^d。。。如果内核只是二维的

---

该内核不是双维的，它会根据其他参数进行不同的映射。

VC维度不会映射到给定解决方案的SV数量

VC维度是模型可以完全粉碎的数据集样本的最大数量，用于与这些点关联的任何标签组合。另一方面，支持向量是定义超平面的点

编辑：

根据你的评论，我将延长我的回答

首先，当你这么说的时候：

当C=inf时，最佳超平面将是一个完全分离数据的超平面，假设数据存在[…]

这并不意味着C和VC维度之间存在直接关系，正如您在说C=999将产生10000的VC维度时所建议的那样。这意味着使用C=inf，您将强制执行所有约束，从而生成硬边界模型—一个完全分离数据的超平面

当应用映射到2维的多项式核时，R^n中有向超平面集的VC维是否为n+1这一事实仍然成立

这在特征空间中是正确的，但请记住，输入空间中的决策边界将不再是超平面，实际上将是非线性的

d=2的多项式核a*b+c^d。。。如果内核只是二维的

---

该内核不是双向的，它会根据其他参数进行不同的映射。

您似乎混淆了以下几点：

多项式核不是二维核，多项式核映射到大致Omd维空间 经验VC维度不是真正的VC维度，真正的VC维度是分析对象，不能直接从数据中计算，它需要严格的证明，现有的少数几个例子之一说，对于n维空间，线性分类器的VC维度是n+1，无论你如何到达这个空间，它都成立。 支持向量的个数与模型的泛化能力有关，VC维也是如此。不幸的是，支持向量的数量和数据的VC维度之间没有简单的一对一依赖关系。事实上，据我所知，我们所知道的SVM模型的VC维没有已知的证明，它是一个间隙容忍分类器，应该具有较低的VC维，但它远不是一个维证明。

---

你似乎把这里的一些事情弄糊涂了：

多项式核不是二维核，多项式核映射到大致Omd维空间 经验VC维度不是真正的VC维度，真正的VC维度是分析对象，不能直接从数据中计算出来，它需要严格的证明，现有的少数几个维度之一说 对于n维空间，线性分类器的VC维是n+1，无论你们如何到达这个空间，它都成立。 支持向量的个数与模型的泛化能力有关，VC维也是如此。不幸的是，支持向量的数量和数据的VC维度之间没有简单的一对一依赖关系。事实上，据我所知，我们所知道的SVM模型的VC维没有已知的证明，它是一个间隙容忍分类器，应该具有较低的VC维，但它远不是一个维证明。

---

问题是，当应用映射到二维的多项式核时，R^n中有向超平面集的VC维是否仍然成立。不幸的是，我不能选择不使用内核。@user1850980很抱歉，这不是我从你的问题中理解的。我想指出一些观点，但是这个空间太短了，所以我将编辑我的答案。问题是，当应用映射到二维的多项式核时，R^n中定向超平面集的VC维是否仍然成立。不幸的是，我不能选择不使用内核。@user1850980很抱歉，这不是我从你的问题中理解的。我想指出一些观点，但这个空间太短，所以我将编辑我的答案>，事实上，据我所知，没有已知的证据证明SVM模型的VC维度，据我所知，这取决于您使用的内核。我记得以前读过一个证明，RBF核有无穷维VC，还有一个例子，sin核也是无穷维的。但是你是对的，我不认为有一个与VC维无关的通用证明RBF核的无穷维是显而易见的。我指的是线性情况下的实际VC维度，可以采用基于边距的近似值min{D^2/M^2，D+1}，其中D是边界球体大小，M是边距。然而，它们都不是SVM本身的参数。线性SVC的VC维数是多少？线性情况只是一个线性分类器，在一般情况下，线性分类器可以粉碎的最大数据集大小是3。如果添加非线性依赖项限制，则R^n的值将为n+1。我可能再次误解了你所指的内容。我相信我们谈论的是两件不同的事情，你谈论的是一个经验估计，这是间隙容忍概念进入讨论的背景，我谈论的是一般算法的理论VC维度。无论如何，我同意你的看法，这似乎不是举行这场有趣讨论的合适地点。1是的，这将是3 2不，是的。它仍然是超平面，但不再在二维空间中，而是在特征空间中，在d=2的情况下，特征空间具有更多的二次维度。如果你将决策边界投影到输入空间，那么它显然不再是一条直线，也不再是超平面，但它只是一个由观察真实曲面的部分引起的幻觉>事实上，据我所知，没有已知的证据证明SVM模型的VC维，这取决于你使用的内核。我记得以前读过一个证明，RBF核有无穷维VC，还有一个例子，sin核也是无穷维的。但是你是对的，我不认为有一个与VC维无关的通用证明RBF核的无穷维是显而易见的。我指的是线性情况下的实际VC维度，可以采用基于边距的近似值min{D^2/M^2，D+1}，其中D是边界球体大小，M是边距。然而，它们都不是SVM本身的参数。线性SVC的VC维数是多少？线性情况只是一个线性分类器，在一般情况下，线性分类器可以粉碎的最大数据集大小是3。如果添加非线性依赖项限制，则R^n的值将为n+1。我可能再次误解了你所指的内容。我相信我们谈论的是两件不同的事情，你谈论的是一个经验估计，这是间隙容忍概念进入讨论的背景，我谈论的是一般算法的理论VC维度。无论如何，我同意你的看法，这似乎不是举行这场有趣讨论的合适地点。1是的，这将是3 2不，是的。它仍然是超平面，但不再在二维空间中，而是在特征空间中，在d=2的情况下，特征空间具有更多的二次维度。如果将决策边界投影到输入空间，那么它显然不再是一条直线，因此也不是超平面，但它只是观察真实曲面部分时产生的错觉