Machine learning 为什么应用分层K倍交叉验证后,准确度和AUC完全相同

Machine learning 为什么应用分层K倍交叉验证后,准确度和AUC完全相同,machine-learning,data-science,evaluation,auc,Machine Learning,Data Science,Evaluation,Auc,我不熟悉机器学习和二元分类,精度和AUC是完全相同的,我不确定这是否正确或者是否有任何问题 谢谢你的帮助 谢谢 我认为结果表明模型可能过度拟合或不拟合。最好的方法是使用列车测试拆分并检查测试数据的结果 另一个原因可能是您的数据量很小,而且两个模型都能够过拟合,所以您肯定需要进行列车测试拆分 希望这能有所帮助。如果您看到这种高精度而不进行任何调整,那么大多数情况下,基线也是超高的 如果你想做一个很好的比较,你可以建立一个虚拟分类器,它总是预测主要类(二进制分类中的类是0和1),所以你总是预测1,然

我不熟悉机器学习和二元分类,精度和AUC是完全相同的,我不确定这是否正确或者是否有任何问题

谢谢你的帮助

谢谢


我认为结果表明模型可能过度拟合或不拟合。最好的方法是使用列车测试拆分并检查测试数据的结果

另一个原因可能是您的数据量很小,而且两个模型都能够过拟合,所以您肯定需要进行列车测试拆分


希望这能有所帮助。

如果您看到这种高精度而不进行任何调整,那么大多数情况下,基线也是超高的


如果你想做一个很好的比较,你可以建立一个虚拟分类器,它总是预测主要类(二进制分类中的类是0和1),所以你总是预测1,然后进行精度测试。这将是您的基线,如果这也是0,95,则您知道此数据集不平衡,并且您的分类器不是一个好结果。

感谢您的回答,我相信k折叠交叉验证更好,与训练测试分割(即保持)相比,可以防止过度拟合。我的理解正确吗?我尝试过坚持,我得到了不同的AUC和准确性。但我想应用k折叠交叉验证。我该怎么办?K是什么,你让模型看到所有数据了吗?你不应该有K个结果吗?我把K设为10,然后计算平均准确度和平均AUC