Machine learning 理解logistic回归的概率解释

我在发展逻辑回归概率解释的直觉方面遇到了问题。具体地说，为什么将Logistic回归函数的输出看作是一个概率？

< P>任何类型的分类都可以被看作是一个概率生成模型，它是通过对类条件密度<代码> p（x[cYk）的建模]来进行的。（即给定类

C_k

，属于该类的

x

的概率是多少），以及类的先验

p（C_k）

（即类

C_k

的概率是多少），这样我们就可以应用贝叶斯定理来获得后验概率

p（C_k）

（即给定x，它属于类

C_k

）的概率是多少。它被称为生成性，因为正如Bishop在他的书中所说，你可以使用该模型通过从边际分布

p（x）

中提取

x

的值来生成合成数据

这一切都只是意味着，每当你想把某个东西分成一个特定的类别（例如，肿瘤的大小是恶性的还是良性的），就有可能是对的还是错的

逻辑回归使用一个（或逻辑函数）对数据进行分类。由于这类函数的范围为0到1，您可以很容易地使用它将其视为概率分布。最终，您将寻找

p（C|k | x）

（在本例中，

x

可能是肿瘤的大小，而C_0是代表良性和C_1恶性的类别），在逻辑回归的情况下，这可以通过以下方式建模：

p（C|k|x）=西格玛（w^t x）

其中

sigma

是sigmoid函数，

w^t

是权值的转置集

w

，而

x

是特征向量

---

我强烈建议您阅读的第4章。

•逻辑回归的概率解释基于以下3个假设：

特征是实值高斯分布的

响应变量是伯努利随机变量。例如，在二元类问题中，yi=0或1

< i > i，i，席，xj是条件独立的y（朴素贝叶斯假设） 所以本质上,

Logistic Reg=高斯朴素贝叶斯+贝努利类标签

•下图所示的优化方程：

•p（y=1或0/X）的方程如下图所示：

•如果我们做一点数学，我们可以看到逻辑回归的几何和概率解释归结为同一件事

---

•这有助于了解更多关于逻辑回归和朴素贝叶斯的知识。

请更具体一些。逻辑回归的假设是后验概率p（c=1 | x）是一个逻辑函数。谢谢你的回答。我开始阅读Bishop的书，但对于他在第一章：p中描述的等式，我有很多疑问（w | D）=p（D | w）.p（w）/p（D）在典型情况下，模型的概率（p（w））是什么意思？它是否意味着模型根据某种度量是正确的概率？它是否意味着模型库中模型出现的概率？同样，数据的概率（p（D））是什么意思？再次感谢！p（w）是从模型中提取值的概率。通过这种方式，您可以合成新数据，这就是为什么它被称为生成模型。在许多情况下，为了简化，假设它遵循高斯分布。另一方面，p（D）是具有类D的概率。如果只有两个可能的类（例如良性D_0或恶性D_1）然后p（D_0）=1-p（D_1）。我希望这有帮助。