R:icc{irr}：尝试单向模型，每名评分员对每个主题进行多个评分

我还没有在任何其他在线线程中找到关于ICC{psych}/ICC{irr}函数的特定场景

我试图找到基于数据的参与者间可靠性，这些数据包含主题列、评分者列，然后是多个评分列。（从我收集的数据来看，大多数人使用的数据只是将评分器作为列、将主题作为行以及单元格中的单个评分。）

数据样本：

以下是我尝试过的代码：

icc(data.pers.icc[,5],model="oneway",type="consistency",unit="average",r0=0,conf.level=0.95)

icc(data.pers.icc[,c(1,2,5)],model="oneway",type="consistency",unit="average",conf.level=0.95)

我明白为什么第二行代码会给我一个错误；公式的设计目的不是将每列作为单独的数据点，而是作为单独的评分器。 但我不明白为什么第一行不起作用。它给了我一个NA的答案：

Average Score Intraclass Correlation

Model: oneway 
Type : consistency 

Subjects = 48 
Raters = 1 
ICC(1) = NA

F-Test, H0: r0 = 0 ; H1: r0 > 0 
F(47,0) = NA , p = NA 

95%-Confidence Interval for ICC Population Values:
NA < ICC < NA

但它给了我一个错误：

ICC错误1：

如果我包括“主题”和“评级”列，它会生成另一条错误消息，上面说：“对比度只能应用于具有2个或更多级别的因子”

---

非常感谢您的帮助！我还有第二个更大的数据帧来完成这项工作。对不起，我的新手方法的R和统计

通常，

icc

函数的第一个参数应该是“n*m矩阵或数据帧，n个主题m个评分者”。这意味着列是评分器，行是主题。 如果只有一列（如

icc（data.pers.icc[，5]，model=“oneway”，type=“consistency”，unit=“average”，r0=0，conf.level=0.95）

），则只有一个评分员。因此，icc无法计算

关于你的第二个例子

（icc（data.pers.icc[，c（1,2,5）]，model=“oneway”，type=“constance”，unit=“average”，conf.level=0.95）

）：第一列包含错误的受试者姓名。所有列都必须是数字。此外，你应该分别对待你的特质

Trait1的正确输入应如下所示：

  Adam LiaoBo Fatima Maria
A  5.5     NA     NA    NA
B  5.0      4     NA    NA
D   NA     NA      7    NA
E  4.0      7     NA    NA
F  1.0     NA      2     4

   my_data <-cbind(
   c(5.5, 5, NA, 4, 1), #Adam
   c(NA, 4, NA, 7, NA), #LiaoBo
   c(NA, NA, 7, NA, 2), #Fatima
   c(NA, NA, NA, NA, 4)) #Maria

ICC(my_data,missing=F)

    kripp.alpha(t(my_data) ,"ratio")

但是，如果您将其放入icc函数，它也将返回NA。通过实验，我发现这个函数不能处理那么多的NA值。但是，当您指定它应该使用所有情况，而不仅仅是完整的情况时，

psych

包中的函数

ICC

能够以某种方式处理NAs：

所以你可以这样计算icc：

  Adam LiaoBo Fatima Maria
A  5.5     NA     NA    NA
B  5.0      4     NA    NA
D   NA     NA      7    NA
E  4.0      7     NA    NA
F  1.0     NA      2     4

   my_data <-cbind(
   c(5.5, 5, NA, 4, 1), #Adam
   c(NA, 4, NA, 7, NA), #LiaoBo
   c(NA, NA, 7, NA, 2), #Fatima
   c(NA, NA, NA, NA, 4)) #Maria

ICC(my_data,missing=F)

    kripp.alpha(t(my_data) ,"ratio")

现在，您只需选择正确的一个

然而，我已经了解到，icc索引可以用于完全交叉设计（即：当所有评分员为所有受试者提供评分时），或者当为每个受试者随机选择一组新的评分员时。因此，icc可能不是数据集的最佳选择

能够更好地处理NAs的索引称为Krippendorff's alpha，它也可以在

irr

包中找到。要指定的唯一附加参数是数据类型（参数：

method=（“标称”、“序数”、“间隔”、“比率”）

）。（我不知道您的数据，所以您可能会决定使用其他方法，然后我使用下面的方法。）

Trait1的Krippendorffα可以这样计算：

  Adam LiaoBo Fatima Maria
A  5.5     NA     NA    NA
B  5.0      4     NA    NA
D   NA     NA      7    NA
E  4.0      7     NA    NA
F  1.0     NA      2     4

   my_data <-cbind(
   c(5.5, 5, NA, 4, 1), #Adam
   c(NA, 4, NA, 7, NA), #LiaoBo
   c(NA, NA, 7, NA, 2), #Fatima
   c(NA, NA, NA, NA, 4)) #Maria

ICC(my_data,missing=F)

    kripp.alpha(t(my_data) ,"ratio")

我会给你

    Krippendorff's alpha

 Subjects = 5 
   Raters = 4 
    alpha = -0.167 

这意味着你的评分员间的可靠性比预期的稍差。这一结果与国际商会得到的结果大不相同。然而，我认为对于这样一个缺少那么多值的小矩阵，任何索引都没有意义

一般来说，要注意容易混淆的主题和评分者。例如，对于这个索引，我必须转换我的矩阵（函数

t

）

如果您想了解更多关于icc、Krippendorff的阿尔法和评分员间信度的信息，我建议您阅读以下文章，即使对于非统计学家也是可以理解的：

• Hallgren，K.A.（2012）。计算网络的评分员间信度 观测数据：概述和教程。中的教程 心理学定量方法，8（1），23-34。

• 古天光、李明义（2016）。选择和选择的指南
  报告可靠性的组内相关系数
  研究。脊骨疗法医学杂志，15（2），155-163.
  

• Stemler，S.E.，和Tsai，J.（2008）。Interlater的最佳实践
  可靠性：三种常见的方法。定量分析的最佳做法 方法

• 冯国强（2015）。使用中的错误及如何避免错误
  编码器间可靠性指标。方法论，11（1），13-22.
  

---

我想让你知道，我不是统计学家。我刚刚花了几天时间阅读了有关索引的文章，并处理了与您类似的问题。

嗨，卡米拉，看到您在ICC中的强大实力，您也能帮我查询一下吗