Python 3.x 公式缺少参数的STATSGLM和OLS模型

Python 3.x 公式缺少参数的STATSGLM和OLS模型,python-3.x,pandas,statistics,statsmodels,Python 3.x,Pandas,Statistics,Statsmodels,我试图在包含分类变量的数据集上使用公式运行一般线性模型。当我列出参数时,结果汇总表似乎遗漏了一个变量 我还没有找到特定于glm的文档,它显示了带有分类变量的输出,但是我和它看起来应该分别列出每个分类变量。当它这样做时(使用GLM或OLS),它会为每个类别省略一个值。例如: import statsmodels.formula.api as smf import pandas as pd Data = pd.read_csv(root+'/Illisarvik/TestData.csv') for

我试图在包含分类变量的数据集上使用公式运行一般线性模型。当我列出参数时,结果汇总表似乎遗漏了一个变量

我还没有找到特定于glm的文档,它显示了带有分类变量的输出,但是我和它看起来应该分别列出每个分类变量。当它这样做时(使用GLM或OLS),它会为每个类别省略一个值。例如:

import statsmodels.formula.api as smf
import pandas as pd
Data = pd.read_csv(root+'/Illisarvik/TestData.csv')
formula = 'Response~Day+Class+Var'
gm = sm.GLM.from_formula(formula=formula, data=Data,
                           family=sm.families.Gaussian()).fit()
ls = smf.ols(formula=formula,data=Data).fit()

print (Data)
print(gm.params)
print(ls.params)



   Day Class       Var  Response
0   D     A  0.533088  0.582931
1   D     B  0.839837  0.075011
2   D     C  1.454716  0.505442
3   D     A  1.455503  0.188945
4   D     B  1.163155  0.144176
5   N     A  1.072238  0.918962
6   N     B  0.815384  0.249160
7   N     C  1.182626  0.520460
8   N     A  1.448843  0.870644
9   N     B  0.653531  0.460177

Intercept     0.625111
Day[T.N]      0.298084
Class[T.B]   -0.439025
Class[T.C]   -0.104725
Var          -0.118662
dtype: float64

Intercept     0.625111
Day[T.N]      0.298084
Class[T.B]   -0.439025
Class[T.C]   -0.104725
Var          -0.118662
dtype: float64
C:/Users/wesle/Dropbox/PhD_Work/Figures/SkeeterEtAlAnalysis.py:55: FutureWarning: sort is deprecated, use sort_values(inplace=True) for INPLACE sorting
  P.sort()
我的模型有问题吗?当我打印完整的汇总表时,同样的问题也会出现:

print(gm.summary())

print(ls.summary())


                 Generalized Linear Model Regression Results                  
==============================================================================
Dep. Variable:               Response   No. Observations:                   10
Model:                            GLM   Df Residuals:                        5
Model Family:                Gaussian   Df Model:                            4
Link Function:               identity   Scale:                 0.0360609978309
Method:                          IRLS   Log-Likelihood:                 5.8891
Date:                Sun, 05 Mar 2017   Deviance:                      0.18030
Time:                        23:26:48   Pearson chi2:                    0.180
No. Iterations:                     2                                         
==============================================================================
                 coef    std err          z      P>|z|      [0.025      0.975]
------------------------------------------------------------------------------
Intercept      0.6251      0.280      2.236      0.025       0.077       1.173
Day[T.N]       0.2981      0.121      2.469      0.014       0.061       0.535
Class[T.B]    -0.4390      0.146     -3.005      0.003      -0.725      -0.153
Class[T.C]    -0.1047      0.170     -0.617      0.537      -0.438       0.228
Var           -0.1187      0.222     -0.535      0.593      -0.553       0.316
==============================================================================

                            OLS Regression Results                            
==============================================================================
Dep. Variable:               Response   R-squared:                       0.764
Model:                            OLS   Adj. R-squared:                  0.576
Method:                 Least Squares   F-statistic:                     4.055
Date:                Sun, 05 Mar 2017   Prob (F-statistic):             0.0784
Time:                        23:26:48   Log-Likelihood:                 5.8891
No. Observations:                  10   AIC:                            -1.778
Df Residuals:                       5   BIC:                           -0.2652
Df Model:                           4                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
Intercept      0.6251      0.280      2.236      0.076      -0.094       1.344
Day[T.N]       0.2981      0.121      2.469      0.057      -0.012       0.608
Class[T.B]    -0.4390      0.146     -3.005      0.030      -0.815      -0.064
Class[T.C]    -0.1047      0.170     -0.617      0.564      -0.541       0.332
Var           -0.1187      0.222     -0.535      0.615      -0.689       0.451
==============================================================================
Omnibus:                        1.493   Durbin-Watson:                   2.699
Prob(Omnibus):                  0.474   Jarque-Bera (JB):                1.068
Skew:                          -0.674   Prob(JB):                        0.586
Kurtosis:                       2.136   Cond. No.                         9.75
==============================================================================

这是线性模型工作方式的结果

例如,就线性模型而言,如果你有分类变量Day,这可以表示为一个单独的“虚拟”变量,对于你提到的第一个值,即D,设置为0(零),对于第二个值,即N,设置为1。从统计学上讲,您只能恢复此分类变量的两个级别的效果之间的差异

如果你现在考虑类,它有两个级别,你有两个哑变量,它们表示这个分类变量的可用三个级别的级别之间的两个差异。 事实上,在治疗方法上使用正交多项式来扩展这个想法是完全可能的,但这是另一天的事情


简而言之,您的模型没有问题,至少在这个方面是这样。

您知道为什么调用.params时返回每个类别而不是n-1个类别吗?是的。正如它提到的,将-1放在模型中坚持要忽略截距。现在所有的类别效应都是可估计的,但是,应该理解,它们是以零为参考的,并且模型中的参数数量仍然相同。