R 如何强制cva.glmnet()在弹性网络回归mdoel中包含特定变量?
我想强制弹性网络回归模型中的一些自变量。在cva.glmnet()函数中使用惩罚.factor时出错。欢迎提出任何建议和意见R 如何强制cva.glmnet()在弹性网络回归mdoel中包含特定变量?,r,glmnet,R,Glmnet,我想强制弹性网络回归模型中的一些自变量。在cva.glmnet()函数中使用惩罚.factor时出错。欢迎提出任何建议和意见 # --------------- import data # outcome: am # ten predictors: mpg+cyl+disp+hp+drat+wt+qsec+vs+gear+carb mydata<-mtcars mydata$am<-factor(mydata$am,levels=c(0,1),labels=c("no&qu
# --------------- import data
# outcome: am
# ten predictors: mpg+cyl+disp+hp+drat+wt+qsec+vs+gear+carb
mydata<-mtcars
mydata$am<-factor(mydata$am,levels=c(0,1),labels=c("no","yes"))
mydata$gear<-factor(mydata$gear,levels=c(3,4,5),labels=c("level3","level4","level5"))
str(mydata)
'data.frame': 32 obs. of 11 variables:
$ mpg : num 21 21 22.8 21.4 18.7 18.1 14.3 24.4 22.8 19.2 ...
$ cyl : num 6 6 4 6 8 6 8 4 4 6 ...
$ disp: num 160 160 108 258 360 ...
$ hp : num 110 110 93 110 175 105 245 62 95 123 ...
$ drat: num 3.9 3.9 3.85 3.08 3.15 2.76 3.21 3.69 3.92 3.92 ...
$ wt : num 2.62 2.88 2.32 3.21 3.44 ...
$ qsec: num 16.5 17 18.6 19.4 17 ...
$ vs : num 0 0 1 1 0 1 0 1 1 1 ...
$ am : Factor w/ 2 levels "no","yes": 2 2 2 1 1 1 1 1 1 1 ...
$ gear: Factor w/ 3 levels "level3","level4",..: 2 2 2 1 1 1 1 2 2 2 ...
$ carb: num 4 4 1 1 2 1 4 2 2 4 ...
# --------------- do elastic net cross-validation for alpha and lambda simultaneously
# works
library("glmnetUtils")
set.seed(12345)
cvfit<-cva.glmnet(am~mpg+cyl+disp+hp+drat+wt+qsec+vs+gear+carb,
family="binomial",
alpha=seq(from=0,to=1,by=0.05),
nfolds=10,
data=mydata)
# --------------- force three variables of "cyl", "disp", "hp" in the final model
# does not work
set.seed(12345)
cvfit<-cva.glmnet(am~mpg+cyl+disp+hp+drat+wt+qsec+vs+gear+carb,
family="binomial",
penalty.factor=c(0,0,0,1,1,1,1,1,1,1),
alpha=seq(from=0,to=1,by=0.05),
nfolds=10,
data=mydata)
Error in approx(lambda, seq(lambda), sfrac) :
need at least two non-NA values to interpolate
#--------------导入数据
#结果:上午
#十个预测因素:mpg+cyl+disp+hp+drat+wt+qsec+vs+gear+carb
mydata此外,由于装备是一个因素,您需要在惩罚因素中再增加2个。而cva.glmnet()
保留了一个因子的所有虚拟变量,而不是忽略一个,这样正则化会将影响缩小到总体平均值。如果省略1级,则将剩余系数收缩为0将迫使预测朝向基线水平(请参见下面作者的评论)
在任何情况下,您都可以查看第一个示例:
set.seed(12345)
cvfit<-cva.glmnet(am~mpg+cyl+disp+hp+drat+wt+qsec+vs+gear+carb,
family="binomial",
alpha=seq(from=0,to=1,by=0.05),
nfolds=10,
data=mydata)
dim(cvfit$modlist[[1]]$glmnet.fit$beta)
[1] 12 100
glmnetUtils作者在这里。回答得好(+1)。glmnetUtils保留某个因子的所有虚拟变量,而不是忽略一个,其原因是为了使正则化能够正常工作。如果省略1级,则将剩余系数收缩为0意味着使效果更类似于基线水平,这通常不是很有意义。保留所有级别会将效果缩小到总体平均值,这很有意义。嗨@HongOoi,我不知道你是作者。是的,我明白了,拦截是不受惩罚的,所以你要避免把它推向参考水平。希望我在编辑的答案中得到了正确答案,请随意编辑。感谢您的跟进:)
cvfit<-cva.glmnet(am~mpg+cyl+disp+hp+drat+wt+qsec+vs+gear+carb,
family="binomial",
penalty.factor=c(0,0,0,1,1,1,1,1,1,1,1,1),
alpha=seq(from=0,to=1,by=0.05),
nfolds=10,
data=mydata)
[,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [,9] [,10] [,11] [,12] [,13]
mpg 0 0 0 0 0 0 0 0 0 0 0 0 0
cyl 0 0 0 0 0 0 0 0 0 0 0 0 0
disp 0 0 0 0 0 0 0 0 0 0 0 0 0
hp 0 6 7 7 7 8 9 9 10 11 12 14 15
drat 0 7 7 7 8 8 8 9 10 10 11 13 14
wt 0 13 14 15 16 17 18 19 20 21 22 23 25
qsec 0 1 1 1 1 1 1 1 1 1 1 1 1
vs 0 11 12 13 14 15 15 16 17 17 18 19 19
gearlevel3 0 4 4 5 5 5 5 5 5 6 6 6 7
gearlevel4 0 50 49 50 51 52 53 55 58 61 65 70 77
gearlevel5 0 1 1 1 1 1 1 1 1 1 1 1 1
carb 0 12 17 23 29 37 46 62 65 70 75 80 88
[,14] [,15] [,16] [,17] [,18] [,19] [,20] [,21]
mpg 0 0 0 0 0 0 0 0
cyl 0 0 0 0 0 0 0 0
disp 0 0 0 0 0 0 0 0
hp 17 20 22 26 32 40 62 73
drat 16 19 23 27 33 41 58 73
wt 26 28 30 33 38 48 78 73
qsec 1 1 1 1 1 1 1 2
vs 20 22 23 25 29 35 58 73
gearlevel3 7 8 8 9 11 14 37 73
gearlevel4 84 87 85 84 82 80 78 73
gearlevel5 1 1 1 1 1 1 1 1
carb 88 87 85 84 82 80 78 73