Machine learning 分类中的特征权重学习算法
我在一个多分类任务中工作。我已经成功地使用了神经网络（2个隐藏层）和支持向量机（SVM）来实现这一点。但是，我希望为每个特征指定实际权重 由于SVM和NN都不显式地产生权重，有没有办法计算它们 我猜逻辑回归不起作用，因为特征空间很大（大约20多个特征），而且问题是非线性的。如果我错了，请纠正我 建议是否有任何其他分类算法可以给我权重，并具有类似于NN/SVM的性能Machine learning 分类中的特征权重学习算法,machine-learning,classification,feature-selection,Machine Learning,Classification,Feature Selection,我在一个多分类任务中工作。我已经成功地使用了神经网络（2个隐藏层）和支持向量机（SVM）来实现这一点。但是，我希望为每个特征指定实际权重 由于SVM和NN都不显式地产生权重，有没有办法计算它们 我猜逻辑回归不起作用，因为特征空间很大（大约20多个特征），而且问题是非线性的。如果我错了，请纠正我 建议是否有任何其他分类算法可以给我权重，并具有类似于NN/SVM的性能 Feature Space x1,x2,x3........................... x25 --- class1
Feature Space
x1,x2,x3........................... x25 --- class1
x1,x2,x3........................... x25 --- class2
x1,x2,x3........................... x25 --- class3
此外，在机器学习领域，20+的功能通常被认为是微不足道的。大量的特征将有几千个。如果你让你的神经网络在其输出中具有概率性——使用softmax输出层并最小化交叉熵损失——你可以评估训练数据或某些heldout数据的可能性。这使您可以将不同的模型与模型固有的通用评估度量进行比较，方法与逻辑回归相同（尽管您无法对权重进行标准显著性测试） 使用逻辑回归计算这些有意义的分数的问题在于，统计数据中隐含的数据模型不是用于实际预测的数据模型，因此它们并没有真正告诉你关于模型的任何信息 老实说，我想说，使用您真正关心的评估指标是正确的做法。如果你真的需要一个显著性测试，我会认为你可以做一些基于自举/重采样/MCMC的方案来计算p值或区间
After classification, I want to understand how each feature is weighted during classification??
删除特定的特征集并测量分类结果ffriendPCA多谢各位 你为什么要举重？你所说的权重是什么意思？在成功分类后的最后，我想了解每个特征的重要性。假设在逻辑回归或简单感知器中，我们最终收敛到每个特征的特定θ值。在某种程度上，具有高θ值的特征对应于更高的重要性。我希望在高维非线性分类问题中也有类似的问题。你们真的需要说明为什么你们需要知道特征的重要性。不同的技术在不同的情况下可能会更好。事实上，通常不是单独的特征，而是对结果影响最大的特征子集。例如，如果您有功能
x1x2x3x1x2x3x1x3x2x3x1x2x1x2