在R中的组内相关系数，如何处理NAs以及评分员和受试者之间没有太多重叠

我一直在尝试进行icc（组内相关系数）测试，以确定k x m矩阵中评分员之间的一致性。其中k为行（研究对象），m为评分员。这是一个70 x 70的矩阵，但它来自随机评分员，每个受试者只接受了约6次评估（范围2-13）

研究对象和评分者没有太多的重叠，因为群体很大

这意味着我的矩阵中充满了NAs：

受试者评分1评分2评分3评分4评分。。。评分员70

主题1 uuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuu

主题2_uuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuu

受试者3\uuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuu

…主题70

我尝试了心理图书馆，发现了两个主要问题：

• 首先，无法使用na.rm（或类似）函数。所以，我不知道如何处理NAs

• 其次，我无法定义测试类型（ICC1、ICC2或ICC3）。即使手册和R中的帮助根据Shrout和Fleiss说明了ICC类型，我也找不到一个示例或函数来确保使用的类型

以下行不起作用：

---

有两种方法可以计算R中的icc。第一种是来自

irr

包的

icc

函数，第二种是来自

psych

包的

icc

关于测试类型的定义：

如果使用

ICC

函数，则无需指定任何内容。R将计算所有形式，您只需选择正确的形式。输出将采用以下形式：

Intraclass correlation coefficients 
                         type  ICC   F df1 df2     p lower bound upper bound
Single_raters_absolute   ICC1 0.26 2.4   4  15 0.096       -0.10        0.83
Single_random_raters     ICC2 0.11 1.5   4  12 0.277       -0.22        0.77
Single_fixed_raters      ICC3 0.10 1.5   4  12 0.277       -0.19        0.75
Average_raters_absolute ICC1k 0.58 2.4   4  15 0.096       -0.58        0.95
Average_random_raters   ICC2k 0.34 1.5   4  12 0.277       -2.50        0.93
Average_fixed_raters    ICC3k 0.31 1.5   4  12 0.277       -1.84        0.92

 Number of subjects = 5     Number of Judges =  4

如果您使用

icc

功能，通过正确设置参数模型、类型和单位，您将获得正确的类型。如果您不确定如何操作，我建议您阅读本文：

• 古天光、李明义（2016）。选材指导原则 报告可靠性的组内相关系数 研究。脊骨疗法医学杂志，15（2），155-163。

关于NAs：

icc

也没有让我在NAs比例较高的情况下工作

我设法使用了

ICC

，丢失值的百分比很高。但是，ICC默认删除所有未完成的案例。因此，在您的情况下，它可能会删除所有数据，并给您一个错误。您可以将

missing=F

设置为包含所有案例

但是，我不确定icc是否是具有许多NAs的数据的好选择。我读过Krippendorff的alpha更适合NAs。（见：Hallgren，K.A.（2012）。计算观察数据的评分者间可靠性：概述和教程。心理学定量方法教程，8（1），23-34。或Hayes，A.F.，和Krippendorf，K.（2017）。回应关于编码数据标准可靠性测量的呼吁，2458（11月）。或）

---

您可以在

irr

包中找到Krippendorff的阿尔法。函数名为

kripp.alpha

NAs有什么问题？还有，你想要的结果是什么？嗨！将完整数据库与NAs R一起使用时，请使用DescTools:>stack.data.frame（data.frame（ratings））中的错误：未选择向量列。每行（主题）中有多个NAs。如果我理解使用na.omit的psych库是什么，我会得到一个错误，说明我的矩阵是=0。我假设它去掉了带有任何NA的完整行，所以所有。也许我只是输入了错误的数据。我可以在数学解释和R命令中找到阅读资料，但无法找到用于这些命令的公式，也无法找到有关如何输入数据的参考资料。谢谢使用na.omit表单库ICC只会删除我的所有行，所以所有行都会删除。当然，每行至少有一个NA。