成本函数在R
我在R中处于机器学习的初始阶段,我发现很难相信没有解决不同类型回归算法的代价函数的软件包。例如,如果我想求解逻辑回归的成本函数,手动方法如下:成本函数在R,r,algorithm,machine-learning,logistic-regression,cost-based-optimizer,R,Algorithm,Machine Learning,Logistic Regression,Cost Based Optimizer,我在R中处于机器学习的初始阶段,我发现很难相信没有解决不同类型回归算法的代价函数的软件包。例如,如果我想求解逻辑回归的成本函数,手动方法如下: #实现Sigmoid功能 sigmoid我们可以使用optim进行优化,或者直接使用glm set.seed(1) X <- matrix(rnorm(1000), ncol=10) # some random data Y <- sample(0:1, 100, replace=TRUE) # Implement Sigmoid fun
#实现Sigmoid功能
sigmoid我们可以使用optim
进行优化,或者直接使用glm
set.seed(1)
X <- matrix(rnorm(1000), ncol=10) # some random data
Y <- sample(0:1, 100, replace=TRUE)
# Implement Sigmoid function
sigmoid <- function(z) {
g <- 1/(1+exp(-z))
return(g)
}
cost.glm <- function(theta,X) {
m <- nrow(X)
g <- sigmoid(X%*%theta)
(1/m)*sum((-Y*log(g)) - ((1-Y)*log(1-g)))
}
X1 <- cbind(1, X)
optim(par=rep(0,ncol(X1)), fn = cost.glm, method='CG',
X=X1, control=list(trace=TRUE))
#$par
#[1] -0.067896075 -0.102393236 -0.295101743 0.616223350 0.124031764 0.126735986 -0.029509039 -0.008790282 0.211808300 -0.038330703 -0.210447146
#$value
#[1] 0.6255513
#$counts
#function gradient
# 53 28
glm(Y~X, family=binomial)$coefficients
# (Intercept) X1 X2 X3 X4 X5 X6 X7 X8 X9 X10
#-0.067890451 -0.102411613 -0.295104858 0.616228141 0.124017980 0.126737807 -0.029523206 -0.008790988 0.211810613 -0.038319484 -0.210445717
set.seed(1)
X否,例如,不必查看软件包glmnet
中glmnet
函数的帮助页面,即库(glmnet);x=矩阵(rnorm(100*20),100,20);g2=样本(1:2100,替换=真);fit2=glmnet(x,g2,family=“二项式”)
您是如何获得用于绘图的所有系数值的?@nadizancontrol=list(trace=TRUE)
中的optim
显示了所有系数的中间值。@SandipanDey如何从打印的值到绘图中显示的所有变量的数字?你能用一些代码告诉我你是如何从optim
到这些值的吗?谢谢
set.seed(1)
X <- matrix(rnorm(1000), ncol=10) # some random data
Y <- sample(0:1, 100, replace=TRUE)
# Implement Sigmoid function
sigmoid <- function(z) {
g <- 1/(1+exp(-z))
return(g)
}
cost.glm <- function(theta,X) {
m <- nrow(X)
g <- sigmoid(X%*%theta)
(1/m)*sum((-Y*log(g)) - ((1-Y)*log(1-g)))
}
X1 <- cbind(1, X)
optim(par=rep(0,ncol(X1)), fn = cost.glm, method='CG',
X=X1, control=list(trace=TRUE))
#$par
#[1] -0.067896075 -0.102393236 -0.295101743 0.616223350 0.124031764 0.126735986 -0.029509039 -0.008790282 0.211808300 -0.038330703 -0.210447146
#$value
#[1] 0.6255513
#$counts
#function gradient
# 53 28
glm(Y~X, family=binomial)$coefficients
# (Intercept) X1 X2 X3 X4 X5 X6 X7 X8 X9 X10
#-0.067890451 -0.102411613 -0.295104858 0.616228141 0.124017980 0.126737807 -0.029523206 -0.008790988 0.211810613 -0.038319484 -0.210445717