Artificial intelligence 衡量分类算法的性能

我手上有一个分类问题，我想用机器学习算法解决这个问题（Bayes，或者可能是Markovian，这个问题独立于要使用的分类器）。考虑到大量的培训实例，我正在寻找一种方法来衡量已实现的分类器的性能，同时考虑数据过度拟合问题

也就是说：给定N[1..100]个训练样本，如果我在每个样本上运行训练算法，并使用相同的样本来测量适合度，它可能会陷入数据过度拟合问题-分类器将知道训练实例的确切答案，而没有太多的预测能力，使健身结果无效

一个明显的解决方案是将人工标记的样本分为训练样本和测试样本；我想学习选择具有统计意义的样本进行训练的方法

非常感谢白皮书、书籍指南和PDF

你可以用这个。我相信这是分类算法性能评估的标准方法

---

基本思想是将学习样本分成10个子集。然后使用一个子集作为测试数据，其他子集作为列车数据。对每个子集重复此操作，并在最后计算平均性能。

正如布朗斯通先生所说，10倍交叉验证可能是最好的方法。我最近不得不评估我使用的许多不同分类器的性能。它有一个API和一系列工具，允许您轻松测试许多不同分类器的性能。

（直接链接到您链接的wiki文章中的k-fold交叉验证）此桶分割是测试数据、训练数据还是所有数据？