Betareg导致内存分配问题

Betareg导致内存分配问题,r,summary,beta,R,Summary,Beta,我正在尝试使用betareg包在R中运行beta回归模型。然而,我意外地遇到了内存大小问题。让我解释一下为什么这让我感到惊讶 我使用的是Windows7,64位,R-64,内存为32GB 我正在运行的betareg命令是: br1 <- betareg(dfp ~ ago + evl + spe + low + poly(fpt, 4, raw = T), data = tt[tt$zero_one_ind == 1, ], model = T, y = F, x = F) betare

我正在尝试使用betareg包在R中运行beta回归模型。然而,我意外地遇到了内存大小问题。让我解释一下为什么这让我感到惊讶

我使用的是Windows7,64位,R-64,内存为32GB

我正在运行的betareg命令是:

br1 <- betareg(dfp ~ ago + evl + spe + low + poly(fpt, 4, raw = T), data = tt[tt$zero_one_ind == 1, ], model = T, y = F, x = F)

betareg模型成功地在R中运行并估计了系数,据我所知,所有时隙都已填充,但看起来R无法构造方差-协方差矩阵。这里有什么问题吗?

我也有同样的问题,解决方法很简单

从手册中:

请注意,默认残差“sweighted2”可能是 在大样本中进行计算非常繁琐,因此在此类应用中可能需要修改

例如,您可以使用摘要中的其他选项之一:

类型=c(“皮尔逊”、“偏差”、“响应”、“加权”、“被忽略”、“被忽略2”)


我在使用betareg时也遇到了同样的问题。我只对系数重要性的p值感兴趣,因此这对我来说是一个解决办法:

fit_frst_spnd_model <- betareg(formula = frst_spnd_util_pc2 ~ .
                        ,data = train_data_frst_txn2_2
                        )
library(lmtest)
coeftest(fit_frst_spnd_model)

fit\u first\u spnd\u模型出了什么问题不是很清楚吗?R内存不足。你的问题到底是什么?@joran拥有一个100万次观测的数据集。我们似乎不太可能需要344.1 GB来构建var cov矩阵。我可能错了,但似乎有点奇怪。奇怪与否,这就是问题所在。如果没有对构建矩阵所涉及的精确代码的详细理解,我不确定你会有什么样的直觉。也许betareg代码没有它可能的那么高效,或者这只是所涉及的计算的本质。无论哪种方式,除了获得更多的ram或适合更小/更有效的模型之外,你没有什么可以做的。你的一些预测变量是否是具有大量级别的因素?通过这种方式,您可以轻松生成一个巨大的模型矩阵。原则上可以构造稀疏模型矩阵,但我不知道
betareg
是否具有这些功能。(什么是
model.matrix(~ago+evl+spe+low+poly(fpt,4,raw=T),data=…)
?)@BenBolker我目前不在办公室,将仔细检查是否在过程中发生了因子变量转换。我假设情况并非如此,但我会检查。model.matrix应该有1000000行和8列。我已经能够在同一个数据集上成功运行gam和gamlss(使用平滑项)。这些型号的规格要复杂得多。我真的很震惊,betareg需要344.1 GB来构建var cov矩阵,这似乎太多了。
fit_frst_spnd_model <- betareg(formula = frst_spnd_util_pc2 ~ .
                        ,data = train_data_frst_txn2_2
                        )
library(lmtest)
coeftest(fit_frst_spnd_model)