R随机森林的灵敏度分析
是否可以运行监督分类随机森林最大化灵敏度(TP/(TP+FN))? 据我所知,准确度或Kappa是衡量标准。 下面是一个真实的例子,其中Kappa和accurity都未按要求评估模型。正如回答和评论(@Hanjo和@Aaron)中所指出的那样,仅仅敏感性并不是一个好的衡量标准R随机森林的灵敏度分析,r,random-forest,R,Random Forest,是否可以运行监督分类随机森林最大化灵敏度(TP/(TP+FN))? 据我所知,准确度或Kappa是衡量标准。 下面是一个真实的例子,其中Kappa和accurity都未按要求评估模型。正如回答和评论(@Hanjo和@Aaron)中所指出的那样,仅仅敏感性并不是一个好的衡量标准 0 1 T 0 1213 50 1263 1 608 63 671 T 1821 113 1934 > Precisao(prev_table)
0 1 T
0 1213 50 1263
1 608 63 671
T 1821 113 1934
> Precisao(prev_table)
[1] "accuracy(TP+TN/T)= 0.66"
[1] "precision(TP/TP+FP)= 0.558"
[1] "sensitivity(TP/TP+FN)= 0.0939"
[1] "positive= 671 0.347"
[1] "negative= 1263 0.653"
[1] "predicted positive= 113 0.0584"
[1] "predicted negative= 1821 0.942"
[1] "Total= 1934"
这个真实的x预测结果与目标相差甚远。让我为您详细说明为什么选择“敏感性”或“特异性”作为性能指标可能不是一个好主意,以及为什么我说您可能必须选择
kappa
(尤其是在不平衡的类预测中)
假设我们有以下数据集和预测结果:
x Outcome Prediction
0.515925884 1 1
0.416949071 0 1
0.112185499 0 1
0.557334124 0 1
0.599717812 0 1
0.272965861 1 1
0.898911346 0 1
0.347428065 0 1
如果模型预测所有观测值均为1,则您将具有100%的灵敏度,并且会错误地假设模型运行良好。如果模型预测所有结果为0,则情况也是如此,这与100%的特异性有关。但这是否意味着该模型得到了很好的调整?显然不是,作为“预测”所有结果为真阳性的简单规则,你会得到100%的特异性。现在,kappa
使用以下模型性能度量:
Kappa统计量(或值)是一种将观测精度与预期精度(随机概率)进行比较的指标。这是对模型性能的更具代表性的度量。这里可以找到一个很好的答案来解释这一点让我为您详细说明为什么选择“敏感性”或“特异性”作为性能指标可能不是一个好主意,以及为什么我说您可能必须选择
kappa
(尤其是在不平衡的类预测中)
假设我们有以下数据集和预测结果:
x Outcome Prediction
0.515925884 1 1
0.416949071 0 1
0.112185499 0 1
0.557334124 0 1
0.599717812 0 1
0.272965861 1 1
0.898911346 0 1
0.347428065 0 1
如果模型预测所有观测值均为1,则您将具有100%的灵敏度,并且会错误地假设模型运行良好。如果模型预测所有结果为0,则情况也是如此,这与100%的特异性有关。但这是否意味着该模型得到了很好的调整?显然不是,作为“预测”所有结果为真阳性的简单规则,你会得到100%的特异性。现在,kappa
使用以下模型性能度量:
Kappa统计量(或值)是一种将观测精度与预期精度(随机概率)进行比较的指标。这是对模型性能的更具代表性的度量。可以在这里找到一个很好的答案来解释这一点你可以,但为什么要特别敏感呢?查看“插入符号”库,并在“训练模型”下,将
metric
设置为灵敏度。我认为kappa
是对模型性能更好的评估,因为它考虑了类imbalances@HanjoJoburgOdendaal博士说,似乎只有准确度和Kappa才是可能的衡量标准。你可以,但为什么特别是敏感度?查看“插入符号”库,并在“训练模型”下,将metric
设置为灵敏度。我认为kappa
是对模型性能更好的评估,因为它考虑了类imbalances@HanjoJoburgOdendaal博士认为,只有准确度和Kappa才是可能的衡量标准,但实际上并非如此。如何我有很多的负面影响,模型评估作为一个很好的答案很多预测负面影响。关注敏感度很重要:该模型的目标不是预测假阴性,换句话说,不能有效预测阳性。使用Kappa或准确度进行的预测在5000个样本中给出了3种不同的情况。下面是一个例子。Hanjo说的是,你不需要随机森林来最大化灵敏度。简单地预测1表示一切,完成。如果这不是你想要做的,你需要一些折衷的指标。如果你选择敏感度作为指标,你的模型将学会预测所有问题的1,不管输入是什么——就像你训练它时,你不会因为它在实际为0的问题上猜1而惩罚它。i、 不管x变量输入是什么,你的模型总是预测1。实际上,它不是。如何我有很多的负面影响,模型评估作为一个很好的答案很多预测负面影响。关注敏感度很重要:该模型的目标不是预测假阴性,换句话说,不能有效预测阳性。使用Kappa或准确度进行的预测在5000个样本中给出了3种不同的情况。下面是一个例子。Hanjo说的是,你不需要随机森林来最大化灵敏度。简单地预测1表示一切,完成。如果这不是你想要做的,你需要一些折衷的指标。如果你选择敏感度作为指标,你的模型将学会预测所有问题的1,不管输入是什么——就像你训练它时,你不会因为它在实际为0的问题上猜1而惩罚它。i、 e无论x变量输入如何,您的模型总是预测1。