R e1071的基本SVM问题：测试错误率与tune的结果不匹配

这似乎是一个非常基本的问题，但我似乎在任何地方都找不到答案。一般来说，我对支持向量机和ML都是新手，我尝试做一些简单的练习，但结果似乎不匹配。我将e1071与R一起使用，并且已经阅读了James、Witten、Hastine和Tibshirani的《统计学习导论》

我的问题：为什么当我使用predict时，我似乎没有任何分类错误，而tune函数的结果表明错误率非零？ 我的代码我在看三个类：

set.seed(4)
dat <- data.frame(pop = rnorm(900, c(0,3,6), 1), strat = factor(rep(c(0,1,2), times=300)))
ind <- sample(1:900)
train <- dat[ind[1:600],]
test <- dat[ind[601:900],]

tune1 <- tune(svm, train.x=train[,1], train.y=train[,2], kernel="radial", ranges=list(cost=10^(-1:2), gamma=c(.5,1,2)))
svm.tuned <- svm(train[,2]~., data=train, kernel = "radial",  cost=10, gamma=1) # I just entered the optimal cost and gamma values returned by tune
test.pred <- predict(svm.tuned, newdata=data.frame(pop=test[,1],strat=test[,2]))

所以当我查看test.pred时，我看到每个值都和真正的类标签匹配。然而，当我调整模型时，它给出了大约0.06的错误率，无论哪种方式，对于不可分离的数据，0的测试错误率似乎都是荒谬的，除非我错误地认为这是不可分离的？。任何澄清都会大有裨益。 非常感谢。

调优函数执行10次交叉验证。它将您的培训数据随机分成10个部分，然后迭代：

选择它们中的每一个并将其称为验证集 选择剩下的9个，并将其称为训练集 它使用训练集上的给定参数训练SVM，并检查它在验证集上的工作情况 计算这10倍的平均误差 来自调谐功能的信息就是这个平均误差。一旦选择了最佳参数，您将在整个集合上训练您的模型，该集合正好比用于调整的参数大1/9。因此，在您的特定情况下，这种情况并不经常发生—您得到的分类器可以完美地预测您的测试集，而一些较小的分类器在调优时进行了测试—犯了一个小错误—这就是为什么您会得到关于不同错误的信息

更新

看起来，您实际上也在对模型进行输入和标签方面的培训。。看看你的

svm.tuned$SV

变量，它保存支持向量

要训练svm，只需运行

svm(x,y,kernel="...",...)

比如说

svm(train$pop, train$strat, kernel="linear" )

这会导致一些错误的分类，因为线性核不能完全分离这些数据

或者使用你的符号

svm.tuned <- svm(strat~., data=train, kernel = "radial",  cost=10, gamma=1)

---

请注意，您应该使用框架列strat的名称，而不是索引。

因此，即使这些数据相当不可分离，该模型仍然能够完美地对所有数据进行分类？这似乎有点难以置信。不管怎样，感谢你澄清为什么CV错误率似乎总是比整体训练错误率大一点。你说的不可分离是什么意思？您使用的是高斯核，它使用正确的参数将分离任何一致的数据集consistent=不存在两个标签完全相同的点。这是无限维特征空间的结果。非常感谢！这个更新解决了这个问题。还要感谢您定义了一个一致的数据集，我以前从未听说过这个术语。