Machine learning ROC曲线的形状

Machine learning ROC曲线的形状,machine-learning,roc,Machine Learning,Roc,我对数据集进行了预测分析,并绘制了ROC曲线 ROC曲线如下所示, 我对曲线的形状不是很确定。它不需要是波浪形曲线吗。但是看看治疗方法,我们能不能确定,这有一个问题。我得到了大约71%的准确率,这对我来说还可以。但我担心的是曲线的形状,它不是波浪形的。例如,下面的例子不一样。(摘自互联网。) 看起来您只绘制了三个点。ROC曲线的概念是显示当您调整决策阈值以确定每个点的性能时,FP/TP比率是如何变化的。如果没有关于如何绘制此图或有哪些参数的信息,很难说更多 一个典型的例子是调整攻击性级别——如

我对数据集进行了预测分析,并绘制了ROC曲线

ROC曲线如下所示,

我对曲线的形状不是很确定。它不需要是波浪形曲线吗。但是看看治疗方法,我们能不能确定,这有一个问题。我得到了大约71%的准确率,这对我来说还可以。但我担心的是曲线的形状,它不是波浪形的。例如,下面的例子不一样。(摘自互联网。)


看起来您只绘制了三个点。ROC曲线的概念是显示当您调整决策阈值以确定每个点的性能时,FP/TP比率是如何变化的。如果没有关于如何绘制此图或有哪些参数的信息,很难说更多

一个典型的例子是调整攻击性级别——如果你有一个垃圾邮件扫描器,它将在特定分数上分类为垃圾邮件,那么更改分数阈值如何改变TP/FP比率?因此,X轴也将有效地显示阈值设置(但可能以某种方式拉伸),每个点的曲线将显示清洁收集中有多少样本在该阈值下为FPs,以及垃圾邮件收集中有多少样本将被正确阻止

(“拉伸”意味着阈值设置可能不会线性映射到FP速率。如果阈值0.950和0.975之间没有任何变化,则根本不会在x轴上绘制该间隔。x轴上的点是TP/FP速率变化的阈值;一些点可能在阈值方面彼此非常接近,而其他点则相邻点数可能对应于阈值中的大跳跃。)

好的ROC曲线下面有一个很大的区域。理想的ROC从0变为1.00并保持不变,但您不需要绘图来帮助您决定如何部署解决方案。但在现实中,它们会有各种各样的形状,从模糊的向左上角(非常好)渐进到直对角(非常糟糕),甚至向右下角渐进(非常差;随机判决会更好)。有趣的是“膝盖”处,TP率增长放缓,FP率开始增长加快(这就是你应该停止增加阈值的地方),以及任何不规则情况,尤其是打破单调的情况


(在您的网络示例中,在TP 0.6附近有一个点,增加阈值只会增加FPs。这是为什么?样本中是否存在偏差,或实现中是否存在问题?是否可以修复?

看起来您只绘制了三个点。ROC曲线的概念是显示当您调整决策阈值以确定每个点的性能时,FP/TP比率是如何变化的。如果没有关于如何绘制此图或有哪些参数的信息,很难说更多

一个典型的例子是调整攻击性级别——如果你有一个垃圾邮件扫描器,它将在特定分数上分类为垃圾邮件,那么更改分数阈值如何改变TP/FP比率?因此,X轴也将有效地显示阈值设置(但可能以某种方式拉伸),每个点的曲线将显示清洁收集中有多少样本在该阈值下为FPs,以及垃圾邮件收集中有多少样本将被正确阻止

(“拉伸”意味着阈值设置可能不会线性映射到FP速率。如果阈值0.950和0.975之间没有任何变化,则根本不会在x轴上绘制该间隔。x轴上的点是TP/FP速率变化的阈值;一些点可能在阈值方面彼此非常接近,而其他点则相邻点数可能对应于阈值中的大跳跃。)

好的ROC曲线下面有一个很大的区域。理想的ROC从0变为1.00并保持不变,但您不需要绘图来帮助您决定如何部署解决方案。但在现实中,它们会有各种各样的形状,从模糊的向左上角(非常好)渐进到直对角(非常糟糕),甚至向右下角渐进(非常差;随机判决会更好)。有趣的是“膝盖”处,TP率增长放缓,FP率开始增长加快(这就是你应该停止增加阈值的地方),以及任何不规则情况,尤其是打破单调的情况

(在您的网络示例中,在TP 0.6附近有一个点,增加阈值只会增加FPs。这是为什么?样本中是否存在偏差,或者实现中是否存在问题?是否可以修复?

通常不调整“a”参数,而是专门调整决策阈值。这就是你在后面描述的,但第一句话有点让人困惑。通常情况下,我们不会调整“a”参数,而是专门调整决策阈值。这就是你稍后描述的,但第一句话有点让人困惑。