Scikit learn 如何在sklearn crfsuite中恢复错误的NER预测

Scikit learn 如何在sklearn crfsuite中恢复错误的NER预测,scikit-learn,nlp,ner,crf,Scikit Learn,Nlp,Ner,Crf,我正在使用sklearn crfsuite执行NER。我试图将一个实体提到一个实体提到一个实体的案例报告为真阳性(预测和预期正确,即使没有实体)、假阳性(预测说是,预期不是)或假阴性(预测说不是,预期是) 除了基于标记/令牌的摘要统计信息外,我看不到如何获得其他任何性能 我可以用一种不同的方式对实体提及进行分组,例如:正确的、不正确的、部分的、缺失的、虚假的。我可以自己编写一大堆代码来实现这一点(可能是必须的),但是必须有一个调用来获取这些信息吗 以下是为获取摘要统计信息而进行的一些调用: fr

我正在使用sklearn crfsuite执行NER。我试图将一个实体提到一个实体提到一个实体的案例报告为真阳性(预测和预期正确,即使没有实体)、假阳性(预测说是,预期不是)或假阴性(预测说不是,预期是)

除了基于标记/令牌的摘要统计信息外,我看不到如何获得其他任何性能

我可以用一种不同的方式对实体提及进行分组,例如:正确的、不正确的、部分的、缺失的、虚假的。我可以自己编写一大堆代码来实现这一点(可能是必须的),但是必须有一个调用来获取这些信息吗

以下是为获取摘要统计信息而进行的一些调用:

from sklearn import metrics
report = metrics.classification_report(targets, predictions,
                                       output_dict=output_dict)
precision = metrics.precision_score(targets, predictions,
                                    average='weighted')
f1 = metrics.f1_score(targets, predictions, average='weighted')
accuracy = metrics.accuracy_score(targets, predictions)

要获得您提到的指标(即,正确的、不正确的、部分的、缺失的、虚假的)并不容易,我认为这些指标与SemEval的13挑战相同

我还需要根据这些指标报告一些结果,并最终自己编写了代码:

  • (对于一个如此差劲的职位来说,这实在太过分了)

我正在与其他人合作,我们计划将其作为一个软件包发布,该软件包可以轻松地与开源的NER系统和/或像CoNLL这样的标准格式集成。欢迎加入并帮助我们:)

事实上,我要提供一些背景资料,我正试图为Rasa做一些类似的事情。事实上,我现在刚刚结束,准备提出一个请求,并且“最终自己编写了代码”。我本想省去这项工作,但我相信我们都知道,有许多不同的指标可以用来评估NER预测。等我有时间的时候,我也会看看你的作品。