R：将方差结构应用于nlme包中的gls的巨大内存需求

我使用R中

nlme

包的

gls

函数创建了一个模型。 然后，我尝试使用

weights

参数将固定方差结构添加到模型中

然而，我得到了一个关于内存分配的错误，这个错误看起来非常极端

glsEstimate（对象，控件=控件）中出错： “Calloc”无法分配内存（8字节的18446744073709551616）

关于如何处理这个问题有什么建议吗？？？

---

背景：

• 我的代码：

  mod <- read.csv('mod.ht.dat.csv', head = T)
  dim(mod)
  [1] 90826     8
  
  library(nlme)
  lm3 <- gls(HT ~ D * I(D^2), data = mod, na.action = na.omit, method = 'ML')
  vf1Fixed <- varFixed(~D)
  lm2 <- update(lm3, . ~ ., weights = vf1Fixed)
  Error in glsEstimate(object, control = control) : 
    'Calloc' could not allocate memory (18446744073709551616 of 8 bytes)
  

• 会话信息：

  R version 3.3.1 (2016-06-21)
  Platform: x86_64-w64-mingw32/x64 (64-bit)
  Running under: Windows 7 x64 (build 7601) Service Pack 1
  

对于我正在做的事情，必要的分配内存似乎高得离谱

我直接使用

gls

修改了代码（vs.

update

），在模型调用本身内外放置了

varFixed

，在模型调用之前，我为D^2创建了一个nw变量，我清除了内存，重新启动了计算机，等等……似乎没有什么能让这个庞大的数字下降

将这种固定方差结构添加到模型中是否真的会占用大量内存？？或者可能是这里发生了我错过的其他事情？…

---

更新：

按照评论中的要求：

>traceback()

8: glsEstimate(object, control = control)
7: Initialize.glsStruct(glsSt, dataMod, glsEstControl)
6: Initialize(glsSt, dataMod, glsEstControl)
5: gls(model = HT ~ D + I(D^2) + D:I(D^2), data = mod, method = "ML", 
   na.action = na.omit, weights = vf1Fixed)
4: eval(expr, envir, enclos)
3: eval(call, parent.frame())
2: update.gls(lm3, . ~ ., weights = vf1Fixed)
1: update(lm3, . ~ ., weights = vf1Fixed)

>dput(head(mod,5))

structure(list(HT = c(3.7, 8.7, 10.1, 4, 8.7), SPEC = structure(c(53L, 
53L, 53L, 53L, 53L), .Label = c("ACBA", "ACER", "ACRU", "AESY", 
"AIAL", "ALJU", "AMAR", "BENI", "CACA", "CACO", "CACR", "CAFL", 
"CAGL", "CAOL", "CAOV", "CAPA", "CARY", "CATO", "CECA", "CELA", 
"CEOC", "CHVI", "COFL", "CRAT", "CRMA", "DIVI", "ELPU", "ELUM", 
"EUAM", "FAGR", "FRAX", "GLTR", "HAVI", "ILAM", "ILDE", "ILOP", 
"JUNI", "JUVI", "LIBE", "LIJA", "LISI", "LIST", "LITU", "LOMA", 
"MAGR", "MATR", "MORU", "NYSY", "OSVI", "OXAR", "PATO", "PIEC", 
"PITA", "PIVI", "PLOC", "PRSE", "QUAL", "QUCO", "QUER", "QUFA", 
"QULY", "QUMA", "QUPH", "QURG", "QURU", "QUST", "QUVE", "RHCO", 
"SAAL", "STGR", "ULAL", "ULAM", "ULRU", "UNKN", "VAAR", "VACC", 
"VACO", "VAST", "VIAC", "VIBR", "VIPR", "VIRA", "VIRU"), class = "factor"), 
    D = c(4.1, 6.9, 7.4, 6.9, 13.7), plot = c(4L, 4L, 4L, 4L, 
    4L), tree_age = c(9L, 13L, 16L, 9L, 13L), Year = c(1933L, 
    1937L, 1940L, 1933L, 1937L), StaticLineID = c(1L, 1L, 1L, 
    2L, 2L), D2 = c(16.81, 47.61, 54.76, 47.61, 187.69)), .Names = c("HT", 
"SPEC", "D", "plot", "tree_age", "Year", "StaticLineID", "D2"
), row.names = c(NA, 5L), class = "data.frame")

---

更新2:

请注意：我尝试对我的数据应用完全不同类型的方差结构，以查看我的计算机如何处理我认为相对类似的内存密集型过程

• 这次我添加了varIdent方差结构：

  >vf2 <- varIdent(form = ~ 1 | SPEC)
  >lm22 <- update(lm3, . ~ ., weights = vf2)
  

  ---

  >vf2 lm22解决方案：从方差协变量中删除0值
  
  我仍然不确定为什么会发生这种情况（尽管我假设仔细看看
  varFixed
  可能会告诉我），但我发现了这个问题
  
  有3个实例，其中D=0
  
  （更一般地说，在我试图用来生成固定方差结构的变量（所谓的方差协变量）中有0个值）
  
  一旦我从我的训练数据中删除了这3棵0值的树，模型就按预期运行（并且几乎立即运行）
  
  [注意：这些树都表示数据收集错误，所以可以“扔掉它们”]。
  您是否可以包括
  traceback（）
  的输出，如果可能的话
  dput（head（mod，5））
  来查看数据structure@Osssan：请参阅更新。我已经添加了
  回溯
  和
  dput
  的输出。如果使用三次正交多项式（参见多边形函数）而不是相同变量的线性和二次效应之间的这种奇怪的交互作用，会发生什么。你的模型似乎不太合理。@Roland:即使我去掉了线性和二次效应之间的“交互作用”，我仍然会得到同样的错误。你能提供一个可重复的例子吗？我不认为你会得到一个没有答案的答案。好吧，你已经分配了无限的权重。
  >vf2 <- varIdent(form = ~ 1 | SPEC)
  >lm22 <- update(lm3, . ~ ., weights = vf2)