Math 评级机构间协议（Fleiss和Kappa、Krippendorff和Alpha等）Java API？

作为硕士论文的一部分，我正在构建一个问题分类/回答语料库。我正在评估我期望的答案类型分类法的评分者之间的一致性/可靠性，我想知道：有人知道有什么像样的（最好是免费的）JavaAPI可以做到这一点吗

我很确定我现在需要的是Fleiss的Kappa和Krippendorff的Alpha

Weka在其评估包中提供了kappa统计，但我认为它只能评估分类器，我还没有到那个阶段（因为我仍在构建数据集和类）

---

谢谢。

检查QDAP（匹兹堡大学）的开放源代码。

我将Fleiss的kappa的matlab实现移植到Python/numpy

---

实现起来并不困难，也许您可以自己将其移植到Java。

我无法及时找到一个现有的Java API进行研究，因此我最终实现了Fleiss的Kappa和Krippendorff的Alpha。可以找到我们研究的初步结果。

我想我应该在去年左右的某个时候更新这一点……实际上我最终在Java中实现了Kappa和Alpha，但感谢您的回复！如果您仍然需要它们，以下是Fleiss的Kappa在几种语言中的一些实现：