Validation Weka测试结果是否在单独的10伏绝缘套上？

我在Weka中使用了10倍交叉验证

我知道这通常意味着数据分为10部分，90%的训练，10%的测试，这是交替10次

---

我想知道Weka如何计算得出的AUC。这是所有10个测试集的平均值吗？或者（我希望这是真的），它是否使用抵抗测试集？我似乎在weka的书中找不到这方面的描述。

weka平均测试结果。这是一种比抵制者更好的方法，我不明白你为什么希望采用这种方法。如果你拿出测试集（大小是多少？），你的测试在统计上不会有显著性，它只会说，对于训练数据上的最佳参数，你在任意一小部分数据上获得了一些分数。交叉验证的要点（作为评估技术）是将所有数据依次用作训练和测试，因此得到的度量是真实评估度量的预期值的近似值。如果您使用保持测试，它将不会收敛到预期值（至少不会在合理的时间内收敛），更重要的是，您必须选择另一个常数（保持设置有多大以及为什么？），并减少用于训练的样本数（由于训练和测试的小数据集的问题，已经开发了交叉验证）。

我自己执行交叉验证（自己做随机折叠并创建10个分类器）并检查平均AUC。我还检查了整个数据集是否用于报告AUC（与Weka在10倍以下输出决策树时类似）

的AUC使用朴素贝叶斯分类器，如

10倍weka=0.89559

10倍矿井=0.89509

原列车=0.90281

---

我的平均AUC和Weka的略有差异，但这可能是因为复制褶皱失败（尽管我确实尝试控制种子）.

我问这个问题的原因是我论文的一位评论员问了这个问题，我不清楚weka是如何工作的。有人向我解释了它到底是如何工作的：很明显，AUC是十倍中的平均值。返回的模型是建立在整个数据集上的。这回答了我的问题。否则，我真的担心拟合过度因此，我猜返回模型的实际AUC至少可以与10 CV返回的平均AUC一样好。是和否。请记住，如果使用CV选择参数，则不能保证“10%更大”数据集实际上与具有相同参数的较小数据集一样好。这与以下事实密切相关，即采样越大，所需的正则化越小。然而，事实是，正如答案中所述，WEKA以平均方式计算AUC，然后对整个数据进行重新训练，这是很自然的（因为很难从10个较小的模型中选择一个，甚至更难将它们合并为一个）