Image processing ROC曲线交叉验证

如何为交叉验证生成ROC曲线

对于单个测试，我认为我应该对SVM的分类分数设置阈值，以生成ROC曲线

---

但我不清楚如何为交叉验证生成它？

在一轮完整的交叉验证后，所有观察结果都被分类一次（尽管是通过不同的模型），并给出了属于感兴趣类别的估计概率，或类似的统计数据。这些概率可用于生成ROC曲线，其方式与外部测试集上获得的概率完全相同。当您将分类阈值从0更改为1时，只需计算分类错误率，并且您的分类阈值已全部设置

---

但是，通常您希望执行多轮交叉验证，因为性能取决于折叠的划分方式。我不清楚如何计算所有轮的平均ROC曲线。我建议绘制所有曲线并计算平均AUC。

作为Backlin的后续：

对于不同的k-折叠或遗漏n-交叉验证，结果的变化表明了模型的不稳定性。这是有价值的信息

• 当然，您可以将结果汇集在一起，只生成一个ROC
• 但您也可以绘制曲线集
  参见例如R包
• 或者计算不同阈值下的中值和IQR，并构建一个描述这些变化的频带。
  下面是一个例子：阴影区域是在8倍交叉验证的125次迭代中观察到的四分位范围。薄黑色区域包含一个特定阈值观察到的特异性-敏感性对的一半，中位数用x标记（忽略+标记）。