Machine learning 如何切换ROC曲线以优化假阴性率?

Machine learning 如何切换ROC曲线以优化假阴性率?,machine-learning,statistics,roc,false-positive,Machine Learning,Statistics,Roc,False Positive,ROC曲线绘制TPR与FPR,并根据训练集概率的等级顺序改变阈值。拾取的阈值是与左上角的点关联的概率。这基本上使TPR最大化,并使假阳性率最小化 然而,让我们假设我的应用程序谈论最小化假阴性率?那么这条曲线会怎样变化呢?两者之间的平衡如何 在我看来,你似乎有点误解了ROC曲线是什么 当阈值变化时,ROC曲线绘制TPR与FPR。因此,ROC曲线实际上是三维图形,绘制了三个变量之间的关系:FPR、TPR和阈值。图表上的每个点反映了特定阈值的实际TPR和FPR。图形的左下角始终反映阈值1,而右上角反映

ROC曲线绘制TPR与FPR,并根据训练集概率的等级顺序改变阈值。拾取的阈值是与左上角的点关联的概率。这基本上使TPR最大化,并使假阳性率最小化


然而,让我们假设我的应用程序谈论最小化假阴性率?那么这条曲线会怎样变化呢?两者之间的平衡如何

在我看来,你似乎有点误解了ROC曲线是什么

当阈值变化时,ROC曲线绘制TPR与FPR。因此,ROC曲线实际上是三维图形,绘制了三个变量之间的关系:FPR、TPR和阈值。图表上的每个点反映了特定阈值的实际TPR和FPR。图形的左下角始终反映阈值1,而右上角反映阈值0

ROC曲线有两种常用的用途:独立于阈值比较两种不同的模型,以及帮助选择合适的阈值。预测分析应用程序的“适当阈值”将根据您正在攻击的特定问题而有所不同,但一般来说,您可以使用ROC曲线为您的特定应用程序选择一个具有可接受TPR/FPR权衡的阈值。通常情况下,只需为最靠近左上角的点选取阈值即可获得理想结果

一旦您从ROC曲线中选择了一个似乎理想的阈值,您就可以调查混淆矩阵和其他评估指标(精确度、召回率、准确度、F1等),以进一步评估阈值

为了回答您的直接问题,您认为ROC曲线不直接显示FNR是正确的。在这种情况下,您可能需要使用敏感性/特异性图,该图以类似于ROC曲线的方式绘制TPR与TNR。据我所知,没有一种标准的评估方法直接针对FNR。相反,我通常只是切换数据中的“积极”和“消极”标签,然后重新绘制ROC曲线。这(有效地)给出了TNR与FNR

然而,让我们假设我的应用程序谈论最小化假阴性率?那么这条曲线会怎样变化呢

这条曲线将保持完全相同。但您将不再选择左上角的点(中的左圆)。相反,您将尝试最大化,如果您将所有点都指定为正值,则这将真正最大化。由于这不符合分类(=很愚蠢),您可以选择一个靠近ROC右上角的点(如图所示)

两者之间的平衡如何

左上角和右上角之间的一点(图中的中间)


ROC曲线不选择任何阈值,它们只显示TPR与FPR。没有内置的阈值选择器。左上角的阈值不会使FPR与FNR最小化。这只是一个TP和FP平衡良好的点:如果你想没有FP,你可以将阈值设置为0,但是你也不会有TP(和许多FN,还有一个非常无用的分类器)。如果您希望FN的权重大于FP,也就是说,您对FN的惩罚更重,只需在拟合分类器时使用损失矩阵即可。不过,并没有多少图书馆接受它。您使用的是哪种型号?谢谢您的评论。这只是一个独立于模型的问题。一些应用程序对假阴性有更高的权重。我将研究应用损失矩阵。但从你的评论来看,ROC阴谋无助于平衡FN。也许我画出TN和FN,得到AUC,并将两个AUC加权在一起?