在TuneRanger中重复CV
我正在使用“TuneRanger”软件包来调整射频型号。它工作得很好,我得到了很好的结果,但我不确定它是否过于适合我的模型。我想对软件包调整模型的每个实例使用重复的CV,但我找不到方法。另外,我想知道是否有人知道软件包如何验证每次尝试的结果(训练测试、cv、重复cv?)。我一直在阅读软件包的说明(),但它没有说明这一点在TuneRanger中重复CV,r,random-forest,r-ranger,R,Random Forest,R Ranger,我正在使用“TuneRanger”软件包来调整射频型号。它工作得很好,我得到了很好的结果,但我不确定它是否过于适合我的模型。我想对软件包调整模型的每个实例使用重复的CV,但我找不到方法。另外,我想知道是否有人知道软件包如何验证每次尝试的结果(训练测试、cv、重复cv?)。我一直在阅读软件包的说明(),但它没有说明这一点 谢谢您的帮助。包外估算用于估算错误,我认为您不能使用该软件包切换到CV。这取决于你决定简历是否比这更好。在他们的报告中,他们链接到a,并在其第3.5节中写道: 现成的预测用于评估
谢谢您的帮助。包外估算用于估算错误,我认为您不能使用该软件包切换到CV。这取决于你决定简历是否比这更好。在他们的报告中,他们链接到a,并在其第3.5节中写道: 现成的预测用于评估,这使得 比使用评估策略的其他包更快,例如 交叉验证 如果要使用交叉验证或重复交叉验证,则必须使用插入符号,例如:
library(caret)
mdl = train(Species ~ .,data=iris,method="ranger",trControl=trainControl(method="repeatedcv",repeats=2),
tuneGrid = expand.grid(mtry=2:3,min.node.size = 1:2,splitrule="gini"))
Random Forest
150 samples
4 predictor
3 classes: 'setosa', 'versicolor', 'virginica'
No pre-processing
Resampling: Cross-Validated (10 fold, repeated 2 times)
Summary of sample sizes: 135, 135, 135, 135, 135, 135, ...
Resampling results across tuning parameters:
mtry min.node.size Accuracy Kappa
2 1 0.96 0.94
2 2 0.96 0.94
3 1 0.96 0.94
3 2 0.96 0.94
Tuning parameter 'splitrule' was held constant at a value of gini
Accuracy was used to select the optimal model using the largest value.
The final values used for the model were mtry = 2, splitrule = gini
and min.node.size = 1.
您可以调整的参数将不同。我认为mlr
也允许您执行,但同样的限制也适用