Machine learning logistic回归是大边际分类器吗?

Machine learning logistic回归是大边际分类器吗?,machine-learning,svm,mathematical-optimization,linear-regression,Machine Learning,Svm,Mathematical Optimization,Linear Regression,据我所知,SVM中的大边际效应: 例如,让我们看看这张图片: 在基于正则化项的SVM优化目标中,我们试图找到一组参数,其中(参数向量)θ的范数很小。所以我们必须找到向量θ,它是小的,并且正例(p)在这个向量上的投影是大的(为了补偿小θ向量的内积)。同时,大p给了我们很大的利润。在这幅图中,我们找到了理想θ和大p(以及大的边距): 我的问题: 为什么logistic回归不是大幅度分类器?在LR中,我们以同样的方式最小化正则化项中的θ向量。 也许我不明白什么,如果是的话-纠正我 我使用了Cour

据我所知,SVM中的大边际效应:

例如,让我们看看这张图片:

在基于正则化项的SVM优化目标中,我们试图找到一组参数,其中(参数向量)θ的范数很小。所以我们必须找到向量θ,它是小的,并且正例(p)在这个向量上的投影是大的(为了补偿小θ向量的内积)。同时,大p给了我们很大的利润。在这幅图中,我们找到了理想θ和大p(以及大的边距):

我的问题: 为什么logistic回归不是大幅度分类器?在LR中,我们以同样的方式最小化正则化项中的θ向量。 也许我不明白什么,如果是的话-纠正我


我使用了Coursera ml课程中的图像和理论。

逻辑回归是一个大幅度的损失。Lecun在一篇或多篇关于基于能量的学习的论文中提到了这一点

要了解LR确实会产生裕度,更容易查看softmax损耗(相当于LR)

softmax损耗中有两个术语:
L(z)=z{true}-log(\sum_i\exp(z_i))

这意味着,一个示例到其真实决策边界的距离需要超过所有决策边界距离的对数和

由于softmax函数是概率分布,因此log softmax可以达到的最大值为0,因此当softmax函数下的真实类的概率接近1时,log softmax返回接近0的负值(即惩罚)