Statistics 如何将误报和漏报合并为一个度量

我正在测试一个计算机视觉程序的性能，该程序试图检测视频中的物体。我有3个不同版本的程序有不同的参数。 我已经对每个版本进行了基准测试，得到了3对（误报百分比，误报百分比）

---

现在我想比较两个版本，然后我想知道将误报和误报合并成一个值并使用它进行比较是否有意义。例如，取公式falsePositives/falseNegatives，看看哪个更小。

这取决于您在比较中需要多少细节

将这两个数字结合起来，会让你对误差幅度有一个整体的感觉，但不能洞察什么样的误差，所以如果你只想知道什么是整体意义上的“更正确”，那就好了

另一方面，如果你真的想用这些结果来更深入地确定这个过程是否适合某个特定的问题，那么我想把它们分开是个好主意。 e、 有时候，在现实环境中，假阴性与假阳性是一个非常不同的问题。机器人只是避开了一个不存在的物体。。。还是没注意到它正从悬崖边上掉下来

简言之，没有硬性的全局规则可以根据一次超级计算来确定视觉效果。这取决于你计划如何处理重要信息。

你需要考虑假阳性相对于假阴性的“重要”程度

例如，如果您的程序设计用于识别人脸，则误报和漏报都同样无害，您可以将它们线性组合

---

但是如果你的程序设计用于探测炸弹，那么误报就不是什么大不了的事（比如说，当它实际上不是炸弹时说“这是炸弹”），但是误报（当它实际上是炸弹时说“这不是炸弹”）将是灾难性的。

好吧，一种传统的方法是为两种事件类型中的每一种分配权重（例如，某个整数表示每个变量对模型验证的相对重要性）。然后

• 将每个实例乘以 适当的权重因子

• 然后把它们摆正

• 对条款求和

• 取平方根

---

这就给您留下了一个数字，即“完全错误”。

还有一些其他可能的解决方案：

-您的假阳性率（fp）和假阴性率（fn）可能取决于阈值。如果您绘制y值为（1-fn）和x值为（fp）的曲线，您将绘制接收器操作员特征（ROC）曲线。ROC曲线下的面积（AUC）是一种常用的质量度量

-如果存在某些感兴趣的区域，则可以对AUC进行加权

---

-报告相等的错误率。对于某些阈值，fp=fn。报告该值。

除了所提到的ROC曲线（AUC）测量值下流行的

区域外，还有一个分数，它结合了精确度和回忆性（根据TP/fp/TN/fn定义），称为0到1（0为最差，1为最佳）：

在哪里

如果您想最大化真正和真负，可以使用诊断效率：

诊断效率=敏感性*特异性

在哪里

灵敏度=TP/（TP+FN）

特异性=TN/（TN+FP）

（TP=真阳性数，FN=假阴性数，TN=真阴性数，FP=假阳性数）

该指标适用于类数不平衡的数据集（即数据集是倾斜的）
如果我是你，我会全部使用。好的，这很有意义。是否有任何定义的参数来组合这两个值？？？太好了！你能给我参考一些他们这样做的论文吗？
F-measure = 2*precision*recall / (precision+recall)

precision = TP/(TP+FP)  ,  recall = TP/(TP+FN)