Machine learning 交叉验证结果的不一致性

Machine learning 交叉验证结果的不一致性,machine-learning,cross-validation,Machine Learning,Cross Validation,我有一组数据集记录了受试者在执行某些特定认知任务时的数据。数据由16个通道和每个通道的多个采样点组成,我想根据正在执行的认知任务对这些数据进行分类(所有数据都有标签) 问题是我没有大量的数据(大约每节课60次,每项认知任务30次),我有2节课。我试图训练一个线性判别分析(LDA)分类器来对这些数据进行分类。该分类器稍后将被实时使用,以便为每个样本数提供某种形式的输出 我使用了5倍交叉验证来测量分类器的泛化误差。问题是,当我多次运行这个5倍交叉验证时,我得到的结果根本不是恒定的。相反,总体准确度存

我有一组数据集记录了受试者在执行某些特定认知任务时的数据。数据由16个通道和每个通道的多个采样点组成,我想根据正在执行的认知任务对这些数据进行分类(所有数据都有标签)

问题是我没有大量的数据(大约每节课60次,每项认知任务30次),我有2节课。我试图训练一个线性判别分析(LDA)分类器来对这些数据进行分类。该分类器稍后将被实时使用,以便为每个样本数提供某种形式的输出


我使用了5倍交叉验证来测量分类器的泛化误差。问题是,当我多次运行这个5倍交叉验证时,我得到的结果根本不是恒定的。相反,总体准确度存在显著差异(例如,第一次5倍交叉验证的平均准确度为80%,第二次验证的准确度为65%,第三次验证的平均准确度为72%,等等)。这正常吗?如果没有,原因可能是什么?

听起来您可能有一些不好的数据,或者您的分类器拟合过度。您可以执行遗漏交叉验证并记录结果。它有助于找到可能使结果产生偏差的数据。

LDA将数据投影到另一个坐标系并缩小尺寸。如何使用它进行分类?