Nlp 如何计算实体链接的查全率和查准率？_Nlp

Nlp 如何计算实体链接的查全率和查准率？

nlp

Nlp 如何计算实体链接的查全率和查准率？,nlp,Nlp,在实体链接过程中，我对如何计算召回率和准确率感到非常困惑。当我们将一个实体消歧为正确意义（T）或错误意义（F）时，我们只有这两种情况。但我们如何才能得到这四种情况：TP、TN、FP、FN？这是一个有趣的问题。我认为答案之所以回避你，是因为在评估你的预测时，有两个以上的正确/不正确答案是一种形式，其中可能有许多答案，但其中只有一个是正确的。按照维基百科的例子，“我不喜欢巴黎”可能意味着“法国巴黎”、“德克萨斯州巴黎”或“帕里斯希尔顿” 评估多类分类器的性能取决于如何对二元分类器进行评分（二元分类

在实体链接过程中，我对如何计算召回率和准确率感到非常困惑。当我们将一个实体消歧为正确意义（T）或错误意义（F）时，我们只有这两种情况。但我们如何才能得到这四种情况：TP、TN、FP、FN？

这是一个有趣的问题。我认为答案之所以回避你，是因为在评估你的预测时，有两个以上的正确/不正确答案

是一种形式，其中可能有许多答案，但其中只有一个是正确的。按照维基百科的例子，“我不喜欢巴黎”可能意味着“法国巴黎”、“德克萨斯州巴黎”或“帕里斯希尔顿”

评估多类分类器的性能取决于如何对二元分类器进行评分（二元分类器只有两种可能的结果）：

表1

             Actual
              0   1
Predicted 0  TN  FN
          1  FP  TP

一旦你有了这个，你就可以在TPR、FPR等中跟踪你熟悉的召回率、准确率等

要评估多类分类器，您需要根据可能的答案（类）对其进行评估，并将所有不正确的答案视为否定。（参考号：，）

假设A、B和C是上述三个巴黎实体（为了可读性）。我将在分类旁边添加“二进制处理”，这样您可以看到分数在二进制后面，方式与上面相同

首先，你要给链接器打A分：法国巴黎

表2A

               Actual
               A   B   C
               1   0   0
Predicted A 1  TP  FP  FP
          B 0  FN  TN  TN
          C 0  FN  TN  TN

下一个得分是B答案：

表2B

              Actual
              A   B   C
              0   1   0
Predicted A 0 TN  FN  TN
          B 1 FP  TP  FP
          C 0 TN  FN  TN

最后考虑C

表2C

              Actual
              A   B   C
              0   0   1
Predicted A 0 TN  TN  FN
          B 0 TN  TN  FN
          C 1 FP  FP  TP

当然，在您的评估器中，您将自动执行此处理。好的框架有内置的评估工具，可以在幕后完成这项工作

（顺便说一句，我只是想象并创建了这些表格来说明它，所以对于任何勘误表表示歉意）。

这是一个有趣的问题。我认为答案之所以回避你，是因为在评估你的预测时，有两个以上的正确/不正确答案

评估多类分类器的性能取决于如何对二元分类器进行评分（二元分类器只有两种可能的结果）：

表1

             Actual
              0   1
Predicted 0  TN  FN
          1  FP  TP

一旦你有了这个，你就可以在TPR、FPR等中跟踪你熟悉的召回率、准确率等

要评估多类分类器，您需要根据可能的答案（类）对其进行评估，并将所有不正确的答案视为否定。（参考号：，）

假设A、B和C是上述三个巴黎实体（为了可读性）。我将在分类旁边添加“二进制处理”，这样您可以看到分数在二进制后面，方式与上面相同

首先，你要给链接器打A分：法国巴黎

表2A

               Actual
               A   B   C
               1   0   0
Predicted A 1  TP  FP  FP
          B 0  FN  TN  TN
          C 0  FN  TN  TN

下一个得分是B答案：

表2B

              Actual
              A   B   C
              0   1   0
Predicted A 0 TN  FN  TN
          B 1 FP  TP  FP
          C 0 TN  FN  TN

最后考虑C

表2C

              Actual
              A   B   C
              0   0   1
Predicted A 0 TN  TN  FN
          B 0 TN  TN  FN
          C 1 FP  FP  TP

当然，在您的评估器中，您将自动执行此处理。好的框架有内置的评估工具，可以在幕后完成这项工作

（顺便说一句，我只是想象并创建了这些表格来说明这一点，因此对于任何勘误表，我深表歉意）。

非常感谢您如此详细的回答。这很简单，但我仍然很困惑，当为A的链接打分时，为什么B可以是第二个表中的FP？因为我认为当我们预测A是正确的答案，这也意味着B是错误的答案。那么，也许B也应该是TN？如果我理解你的问题，你说的是表2A（刚刚贴上标签），“这也意味着B是错误的”不可能是真的。如果B是“实际”答案，那么它就是正确答案，而A的预测是错误的。因此，这是一个假阳性，因为在表2A中，我们认为a为阳性。因此，预测A就像在二元分类器中预测1/Yes/True/Correct。看看我添加的二进制标签，它是Predict:1，Actual:0，这是一个误报。非常感谢，似乎我对这个想法有点了解。那么，表2A的召回率将是1/3？谈论这些表本身的性能是没有意义的，因为它们只是说明了所有可能的结果组合。在实践中，当您运行数据集时，您的系统将获得各种TN、TP等计数，然后将这些计数相加到各种速率中。回想一下TPR或总TP的实现除以测试数据集中的总实际阳性数。非常感谢您如此详细的回答。这很简单，但我仍然很困惑，当为A的链接打分时，为什么B可以是第二个表中的FP？因为我认为当我们预测A是正确的答案，这也意味着B是错误的答案。那么，也许B也应该是TN？如果我理解你的问题，你说的是表2A（刚刚贴上标签），“这也意味着B是错误的”不可能是真的。如果B是“实际”答案，那么它就是正确答案，而A的预测是错误的。因此，这是一个假阳性，因为在表2A中，我们认为a为阳性。因此，预测A就像在二元分类器中预测1/Yes/True/Correct。看看我添加的二进制标签，它是Predict:1，Actual:0，这是一个误报。非常感谢，似乎我对这个想法有点了解。那么，表2A的召回率将是1/3？谈论这些表本身的性能是没有意义的，因为它们只是说明了所有可能的结果组合。在实践中，当您运行数据集时，您的系统将获得各种TN、TP等计数，然后将这些计数相加到各种速率中。回忆是TPR或总TP的实现除以总实际posi