Fatal编程技术网
  • python/
  • Python模块中的类内关联？

Python模块中的类内关联？

python statistics

Python模块中的类内关联？,python,statistics,correlation,Python,Statistics,Correlation,我想用Python进行计算。我还没有找到一个具有此功能的现有模块。有其他的名字吗，还是我应该自己取？我知道这个问题是由另一个用户交叉验证提出的，但没有答复。我想比较两个评分员的连续评分。您可以在或中找到一个实现。中有几个实现。这些可以通过包从Python中使用。例如： 从rpy2.robject导入数据帧、FloatVector、IntVector 从rpy2.robjects.packages导入导入 从数学导入 组=[1,1,1,1,2,2,2,3,3,3,3,4,4， 4, 5, 5, 5

我想用Python进行计算。我还没有找到一个具有此功能的现有模块。有其他的名字吗，还是我应该自己取？我知道这个问题是由另一个用户交叉验证提出的，但没有答复。我想比较两个评分员的连续评分。

您可以在或中找到一个实现。

中有几个实现。这些可以通过包从Python中使用。例如：

从rpy2.robject导入数据帧、FloatVector、IntVector
从rpy2.robjects.packages导入导入
从数学导入
组=[1,1,1,1,2,2,2,3,3,3,3,4,4，
4, 5, 5, 5, 5, 6, 6, 6, 6, 7, 7, 7, 7, 8, 8, 8, 8]
值=[1,2,0,1,1,3,3,2,3,8,1,4,6,4,3，
3, 6, 5, 5, 6, 7, 5, 6, 2, 8, 7, 7, 9, 9, 9, 9, 8]
r_icc=importr（“icc”）
df=数据帧（{“组”：IntVector（组），
“值”：浮点向量（值）}）
icc_res=r_icc.ICCbare（“组”，“值”，数据=df）
icc_val=icc_res[0]#icc_val现在保存icc值
#检查icc值是否等于参考值
打印（iClose（国际商会数值，0.728，绝对值=0.001））
该软件包实现了类内相关性（ICC），可计算多种类型的变量，包括ICC（1,1）、ICC（1,k）、ICC（2,1）、ICC（2,k）、ICC（3,1）和ICC（3,k）以及其他指标

在不同的变体之间有很好的比较

您可以通过软件包使用R ICC功能

例如：

  • 首先在R中安装psych和lme4：
  • 使用rpy2在Python中计算ICC系数：
    • 结果:

                                type    ICC        F           df1   df2    p          lower bound   upper bound  
  Single_raters_absolute    ICC1    0.165783   1.794916    5.0   18.0   0.164720   -0.132910     0.722589     
  Single_random_raters      ICC2    0.289790   11.026650   5.0   15.0   0.000135   0.018791      0.761107     
  Single_fixed_raters       ICC3    0.714829   11.026650   5.0   15.0   0.000135   0.342447      0.945855     
  Average_raters_absolute   ICC1k   0.442871   1.794916    5.0   18.0   0.164720   -0.884193     0.912427     
  Average_random_raters     ICC2k   0.620080   11.026650   5.0   15.0   0.000135   0.071153      0.927240     
  Average_fixed_raters      ICC3k   0.909311   11.026650   5.0   15.0   0.000135   0.675657      0.985891
    该库以6种不同的方式计算ICC，以及相关的置信水平和p值

    您可以使用
    pip install pingouin
    或
    conda install-c conda forge pingouin安装它
    

    import pingouin as pg
data = pg.read_dataset('icc')
icc = pg.intraclass_corr(data=data, targets='Wine', raters='Judge',
                         ratings='Scores')

    
国际商会
    
基于，我修改了代码，以计算作为表Y输入的数据的相关系数ICC（2,1）、ICC（2,k）、ICC（3,1）或ICC（3,k）（受试者在行，重复测量在列）
    

    我以前没发现。这就是ICC（3,1）的具体实施。我想看看模块中是否存在所有ICC变体的实现。我相信我需要ICC（2,2），如果没有实现，我可以编写。@Hector有另一个icc2的实现。
    icc2
    请检查我的编辑并祝你好运。@Hector非常乐意提供帮助。你可能还想看到问题，其中包括一些代码。我熟悉numpy中的许多函数，但我以前从未见过ICC。您可能还希望搜索scikit learn和statsmodels包的文档。无论用哪种方式，手工实现似乎都不太难。请考虑使用NUMPY，特别是如果速度对你很重要。别忘了在这里发布你的答案，以帮助其他人在将来搜索这个！谢谢你，普拉文。这也是沃尔提供的。在这一点上，我自己写会更快。当在Python中搜索实现时，大多数ICC结果都是英特尔C++编译器。我没发现它被埋在地下。有人可能会发现在scipy/numpy中完全实现ICC很有用。我将继续介绍我使用的实现或代码。现在使用JupyterLab将R和python结合使用更容易。因此，在这种情况下，每列都是一个“组”或“集群”？啊，我明白了。在本例中，似乎有4名法官和6名受试者。所以一般来说，行是“簇”，列是每个簇中的观察数。我有一个关于输入数据的问题。我有很多观察者，他们都会对一些刺激进行三次测量。因此，行是被试，列是单一刺激的三个重复测量。这是否意味着我只能计算一个刺激的ICC？没错。对于每个刺激和每个观察者，您可以使用ICC计算观察者内的可变性。因此，列是三个重复测量值，行是受试者。

                                type    ICC        F           df1   df2    p          lower bound   upper bound  
  Single_raters_absolute    ICC1    0.165783   1.794916    5.0   18.0   0.164720   -0.132910     0.722589     
  Single_random_raters      ICC2    0.289790   11.026650   5.0   15.0   0.000135   0.018791      0.761107     
  Single_fixed_raters       ICC3    0.714829   11.026650   5.0   15.0   0.000135   0.342447      0.945855     
  Average_raters_absolute   ICC1k   0.442871   1.794916    5.0   18.0   0.164720   -0.884193     0.912427     
  Average_random_raters     ICC2k   0.620080   11.026650   5.0   15.0   0.000135   0.071153      0.927240     
  Average_fixed_raters      ICC3k   0.909311   11.026650   5.0   15.0   0.000135   0.675657      0.985891  

    

    import pingouin as pg
data = pg.read_dataset('icc')
icc = pg.intraclass_corr(data=data, targets='Wine', raters='Judge',
                         ratings='Scores')

    

    data.head()

|    |   Wine | Judge   |   Scores |
|---:|-------:|:--------|---------:|
|  0 |      1 | A       |        1 |
|  1 |      2 | A       |        1 |
|  2 |      3 | A       |        3 |
|  3 |      4 | A       |        6 |
|  4 |      5 | A       |        6 |
|  5 |      6 | A       |        7 |
|  6 |      7 | A       |        8 |
|  7 |      8 | A       |        9 |
|  8 |      1 | B       |        2 |
|  9 |      2 | B       |        3 |

    

    |    | Type   | Description             |   ICC |      F |   df1 |   df2 |        pval | CI95%        |
|---:|:-------|:------------------------|------:|-------:|------:|------:|------------:|:-------------|
|  0 | ICC1   | Single raters absolute  | 0.773 | 11.199 |     5 |    12 | 0.000346492 | [0.39, 0.96] |
|  1 | ICC2   | Single random raters    | 0.783 | 27.966 |     5 |    10 | 1.42573e-05 | [0.25, 0.96] |
|  2 | ICC3   | Single fixed raters     | 0.9   | 27.966 |     5 |    10 | 1.42573e-05 | [0.65, 0.98] |
|  3 | ICC1k  | Average raters absolute | 0.911 | 11.199 |     5 |    12 | 0.000346492 | [0.65, 0.99] |
|  4 | ICC2k  | Average random raters   | 0.915 | 27.966 |     5 |    10 | 1.42573e-05 | [0.5, 0.99]  |
|  5 | ICC3k  | Average fixed raters    | 0.964 | 27.966 |     5 |    10 | 1.42573e-05 | [0.85, 0.99] |

    

    import os
import numpy as np
from numpy import ones, kron, mean, eye, hstack, dot, tile
from numpy.linalg import pinv

def icc(Y, icc_type='ICC(2,1)'):
    ''' Calculate intraclass correlation coefficient

    ICC Formulas are based on:
    Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: uses in
    assessing rater reliability. Psychological bulletin, 86(2), 420.
    icc1:  x_ij = mu + beta_j + w_ij
    icc2/3:  x_ij = mu + alpha_i + beta_j + (ab)_ij + epsilon_ij
    Code modifed from nipype algorithms.icc
    https://github.com/nipy/nipype/blob/master/nipype/algorithms/icc.py

    Args:
        Y: The data Y are entered as a 'table' ie. subjects are in rows and repeated
            measures in columns
        icc_type: type of ICC to calculate. (ICC(2,1), ICC(2,k), ICC(3,1), ICC(3,k)) 
    Returns:
        ICC: (np.array) intraclass correlation coefficient
    '''

    [n, k] = Y.shape

    # Degrees of Freedom
    dfc = k - 1
    dfe = (n - 1) * (k-1)
    dfr = n - 1

    # Sum Square Total
    mean_Y = np.mean(Y)
    SST = ((Y - mean_Y) ** 2).sum()

    # create the design matrix for the different levels
    x = np.kron(np.eye(k), np.ones((n, 1)))  # sessions
    x0 = np.tile(np.eye(n), (k, 1))  # subjects
    X = np.hstack([x, x0])

    # Sum Square Error
    predicted_Y = np.dot(np.dot(np.dot(X, np.linalg.pinv(np.dot(X.T, X))),
                                X.T), Y.flatten('F'))
    residuals = Y.flatten('F') - predicted_Y
    SSE = (residuals ** 2).sum()

    MSE = SSE / dfe

    # Sum square column effect - between colums
    SSC = ((np.mean(Y, 0) - mean_Y) ** 2).sum() * n
    MSC = SSC / dfc  # / n (without n in SPSS results)

    # Sum Square subject effect - between rows/subjects
    SSR = SST - SSC - SSE
    MSR = SSR / dfr

    if icc_type == 'icc1':
        # ICC(2,1) = (mean square subject - mean square error) /
        # (mean square subject + (k-1)*mean square error +
        # k*(mean square columns - mean square error)/n)
        # ICC = (MSR - MSRW) / (MSR + (k-1) * MSRW)
        NotImplementedError("This method isn't implemented yet.")

    elif icc_type == 'ICC(2,1)' or icc_type == 'ICC(2,k)':
        # ICC(2,1) = (mean square subject - mean square error) /
        # (mean square subject + (k-1)*mean square error +
        # k*(mean square columns - mean square error)/n)
        if icc_type == 'ICC(2,k)':
            k = 1
        ICC = (MSR - MSE) / (MSR + (k-1) * MSE + k * (MSC - MSE) / n)

    elif icc_type == 'ICC(3,1)' or icc_type == 'ICC(3,k)':
        # ICC(3,1) = (mean square subject - mean square error) /
        # (mean square subject + (k-1)*mean square error)
        if icc_type == 'ICC(3,k)':
            k = 1
        ICC = (MSR - MSE) / (MSR + (k-1) * MSE)

    return ICC