Machine learning 对于多类分类，省略一个精度

对于如何在多类、单v/s rest分类的情况下使用漏掉一个（LOO）方法计算精度，我有点困惑。 我正在研究Yupen动态场景识别数据集，该数据集包含14个类别，每个类别中有30个视频（总共420个视频）。让我们把14个类命名为{A，B，C，D，E，F，G，H，I，J，K，L，M，N}

我正在使用线性支持向量机进行一个v/s rest分类。 假设我想找到“A”类的准确度结果。当我执行“A”v/s“rest”时，我需要在训练时排除一个视频，并在排除的视频上测试模型。我排除在外的这段视频，是来自A类还是来自所有类

换句话说，为了找到类别“A”的准确性，我应该使用LOO执行SVM30次（将类别“A”中的每个视频保留一次）还是执行420次（将所有类别中的视频保留一次）

我有一种感觉，我把这一切都搞混了？？有谁能给我一个简短的示意图，说明使用LOO执行多类别分类的正确方法吗？
另外，如何在Matlab上使用libsvm执行此操作

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

数据集中的视频数量很少，因此我无法创建单独的测试集（应该发送到Neptune）。相反，我必须确保充分利用数据集，因为每个视频都提供一些新的/独特的信息。在这样的场景中，我读到人们使用LOO作为准确性的衡量标准（当我们负担不起单独的测试集时）。他们称之为“省略一个视频”实验

从事动态场景识别的人员使用这种方法来测试准确性。为了比较我的方法和他们的方法的准确性，我需要使用相同的评估过程。但他们刚刚提到，他们正在使用LOVO来提高准确性。除此之外没有提供太多细节。我是这个领域的新手，因此有点困惑

根据我的想法，LOVO可以通过两种方式实现：

1） 在420个视频中留下一个视频。使用419个视频作为训练集，训练14个“单v/s-rest”分类器。（“A”v/s“rest”，“B”v/s“rest”，“N”v/s“rest”）

使用14个分类器评估遗漏的视频。用给出最大置信度分数的类来标记它。因此，对一个视频进行了分类。我们按照相同的程序为所有420个视频贴标签。使用这420个标签，我们可以找到混淆矩阵，找出误报/漏报、准确度、召回率等

2） 在14节课中，我每节课都留下一段视频。这意味着我选择了406个视频用于培训，14个用于测试。通过406个视频，我找到了14个“one-v/s-rest”分类器。我评估了测试集中14个视频中的每一个，并根据最大置信度给它们贴上标签。在下一轮中，我又漏掉了14个视频，每个班级一个。但这一次，14人组在上一轮中没有一人被排除在外。我再次训练和评估14个视频，并找出标签。通过这种方式，我将这个过程进行了30次，每次都是14个视频的非重复集。最后，所有420个视频都贴上了标签。在本例中，我还计算了混淆矩阵、准确度、精确度和召回率等

除了这两种方法之外，LOVO还可以采用其他许多不同的方式。在关于动态场景识别的论文中，他们没有提到他们是如何执行LOVO的。假设他们使用第一种方法安全吗？有没有办法决定哪种方法更好？两种方法获得的准确度是否存在显著差异

以下是一些最近关于动态场景识别的论文，以供参考。在评估部分，他们提到了LOVO。 1) 2) 3) 4)

---

5）

当使用交叉验证时，最好记住它适用于培训模型，而不是通常对上帝诚实，整个事情的结束衡量准确性，而是保留用于测试集分类准确度的测量，该测试集在培训期间从未接触过或以任何方式涉及过

让我们只关注一个您计划构建的分类器。“A vs.rest”分类器。你要把所有的数据分为一个训练集和一个测试集，然后你要把测试集放在一个硬纸盒里，把它装订好，用胶带盖住，把它放在一个钛制的拱顶里，然后把它连接到一个NASA的火箭上，这个火箭将把它放在海王星冰封的海洋里

然后让我们看看训练集。当我们使用训练集进行训练时，我们希望将一些训练数据保留在一旁，只是为了校准，，而不是作为官方海王星海洋测试集的一部分

所以我们能做的就是告诉每个数据点（在您的例子中，数据点似乎是一个视频值对象）退出一次。我们不在乎它是否来自A类。因此，如果有420个视频将用于“A vs.rest”分类器的训练集中，那么是的，您将适合420个不同的支持向量机

事实上，如果你正在调整SVM的参数，这就是你要做的。例如，如果您试图在多项式核或其他内容中选择惩罚项或系数，那么您将对要搜索的所有参数组合重复整个训练过程（是的，所有420个不同的训练支持向量机）。对于每个参数集合，您将关联420个LOO训练分类器的准确度得分总和

完成后，选择段落