R中irr包的Kappam.light：警告sqrt（Varkapa），产生NAN，kappa=NA，z值=NA，p值=NA

我试图使用irr包提供的Light的kappa来计算评分系统在R中的观察者间可靠性。这是一个完全交叉的设计，其中15名观察者对20名受试者的某个存在（“1”）或某个不存在（“0”）评分。 这是我的数据框（从excel工作表导入）：

接下来，我尝试计算kappa值，得到以下响应

kappam.light(my.df) #calculating the kappa-value

Light's Kappa for m Raters

 Subjects = 20 
   Raters = 15 
    Kappa = NaN 

        z = NaN 
  p-value = NaN 

Warning messages:
1: In sqrt(varkappa) : NaNs produced
2: In sqrt(varkappa) : NaNs produced
3: In sqrt(varkappa) : NaNs produced
4: In sqrt(varkappa) : NaNs produced
5: In sqrt(varkappa) : NaNs produced
6: In sqrt(varkappa) : NaNs produced
7: In sqrt(varkappa) : NaNs produced
8: In sqrt(varkappa) : NaNs produced
9: In sqrt(varkappa) : NaNs produced
10: In sqrt(varkappa) : NaNs produced

我已经尝试将所有变量的类更改为factors、character、numeric和boolean。什么都不管用。我怀疑这与“1”分数相对较低有关。有什么建议吗

编辑：我找到了问题的解决方案，而不必排除数据。 为了计算患病率和偏差调整kappa，pabak可用于birater问题。对于像这样的多评分问题，你应该使用伦道夫的卡帕。这是基于fleiss的kappa，因此不考虑差异。非常适合我遇到的问题

可以找到在线计算器

---

在R中，可以使用Raters包。我比较了这两种方法的结果，结果几乎相同（小数点后六位的差异）

之所以出现此错误，是因为列

a

和

i

中没有变化

首先，检查各列之间的可变性

apply(df,2,sd)
        a         b         c         d         e         f         g         h         i         j         k         l         m         n         o 
0.0000000 0.5104178 0.3663475 0.4103913 0.3663475 0.4893605 0.3077935 0.2236068 0.0000000 0.4701623 0.3663475 0.4103913 0.4103913 0.4103913 0.2236068 

您可以看到，

a

和

i

列没有可变性。由于Kappa计算评分者之间的可靠性并修正偶然一致性，因此需要变化性。有两个未知数，并且没有可变性，这是无法计算的

因此，如果删除这两列，您将获得无错误的输出

df$a=NULL
df$i=NULL
kappam.light(df)
 Light's Kappa for m Raters

 Subjects = 20 
   Raters = 13 
    Kappa = 0.19 

        z = 0 
  p-value = 1 

---

但是移除这些柱不会影响产生的kappa吗？本质上，我们刚刚删除了两个评分员。是的。。。您已经删除了两名评分员，但Kappa要求评分员的回答具有一定的可变性。然而，如果没有一些可变性（正如您在原始数据中看到的），则无法计算Kappa。如果没有可变性，则无法计算Kappa，因为它需要估计两种概率（即，参与者之间的一致性和偶然发生的一致性）。这很有意义。您是否建议使用其他测试，或者我是否应该接受这些排除？您可以使用

apply（df，2，sd）

检查数据的可变性。这将为您提供每列的SD。如果我的回答有效，也请接受。

df$a=NULL
df$i=NULL
kappam.light(df)
 Light's Kappa for m Raters

 Subjects = 20 
   Raters = 13 
    Kappa = 0.19 

        z = 0 
  p-value = 1