Nlp 用kappa系数评价众包效果

我有4组0和1的手动标记数据，由4个不同的人创建。我必须使用4组手动标记的数据以0和1的形式获得最终标记的数据。我已将用户之间的一致程度计算为 A-B:0.3276， A-C:0.3263， A-D:0.4917， B-C:0.2896， B-D:0.4052， C-D:0.3540

我不知道如何使用它来计算作为单个集合的最终数据。

---

请帮助。

卡帕系数仅适用于一对注释者。对于两个以上，您需要使用它的扩展。这样做的一种流行方法是使用，或使用由提出的所有注释器对的平均预期一致性。我不知道有任何现成的计算器可以为您计算这些，所以您可能需要自己实现代码

但是，您可能会发现有一些有用的方法

这些技术只能用于标称变量。如果您的数据不在标称范围内，请使用不同的度量，如