Scikit learn 套索适合scikit学习-获得可能性

我正在使用scikit学习包中的LASSO来优化惩罚线性回归问题的参数。我不仅对参数的最佳选择感兴趣，而且对数据相对于优化参数的可能性感兴趣。在拟合后是否有一个简单的方法得到充分的可能性？

< P>在最大似然框架下考虑<代码> LasS/<代码>有点欺骗。然后，系数上的先验分布是拉普拉斯分布

exp（-np.prod（np.abs（coef））

，其产生的稀疏性仅作为处于最佳状态的“伪影”。从该分布中获得稀疏样本的概率为0（这种情况“几乎从不发生”）

这个免责声明，你可以写出来

import numpy as np
from sklearn.linear_model import Lasso
est = Lasso(alpha=10.)
est.fit(X, y)
coef = est.coef_
data_loss = 0.5 * ((X.dot(coef) - y) ** 2).sum()
n_samples, n_features = X.shape
penalty = n_samples * est.alpha * np.abs(coef).sum()
likelihood = np.exp(-(data_loss + penalty))

---

你说的优化参数是什么意思？关于什么指标？预测分数？很抱歉回复太晚。我需要更多的时间来思考我的问题，然后才能对你的答案给出有用的反馈。我目前的问题是alpha包含两个参数：正态分布的方差和拟合参数上先验的“紧密性”。参数

alpha

仅调节权重上的“先验”。你指的是哪个正态分布？残差的分布？因为根据这个“先验”的说法，权重通常不是按我的理解分配的：后面的是N（y | mu=y | hat，sigma^2）*La（w | t，mu=0，tau）。第一项属于普通线性回归，其中y是观测值的向量，y_是所见数据和权重（正态分布）线性组合的向量。第二项是拉普拉斯先验。α与σ^2/tau成正比。优化权重时，sigma和tau并不重要，组合项alpha调节正则化的强度。我现在的问题是，我想我需要sigma和tau来计算完整的后验概率。对不起，拉普拉斯先验中的w_t应该只是w，是权重向量。我可能完全错了，但我认为

alpha

是你的

tau

。通过残差可以得到

sigma^2

的估计值。如果你有发现的话，我对这个的形式推导很感兴趣。注：如果你想在采用贝叶斯方法之前获得真正的稀疏度，通常你会选择spike+slab。