Machine learning 多元分类中的参数估计

这里的新手正在排版我的问题，如果这不起作用，请原谅

我试图给出一个多变量分类问题的贝叶斯分类器，假设输入具有多变量正态分布。我选择使用定义为log（似然*先验）的判别函数

但从分布上看,

$${f（x\mid\mu，\Sigma）=（2\pi）{-Nd/2}\det（\Sigma）{-N/2}exp[（-1/2）（x-\mu）}\Sigma^{-1}（x-\mu）]}$$

我遇到了一个术语log（det（$S_i$），其中$S_i$是我的特定类i的样本协方差矩阵。因为我的输入实际上代表一个正方形的图像数据，所以我的$S_i$发现了一些相关性，并导致det（S_i）为零。然后我的判别函数都变成了Inf，这对我来说是灾难性的

我知道这里肯定出了很多问题，有人愿意帮我吗

---

---

更新：任何人都可以帮助如何使公式起作用？

我不分析这个概念，因为我不太清楚您在这里试图实现什么，也不知道数据集，但是关于协方差矩阵的问题：

对于数据，最明显的解决方案是，需要一个协方差矩阵及其行列式，从数值上看，不可行的方法是使用某种降维技术，以捕获信息量最大的维度，并简单地丢弃其余维度。其中一种方法是主成分分析（PCA），它应用于数据并在5-20维后截断，将产生具有非零行列式的缩减协方差矩阵

---

注：将此问题发布在

上可能是个好主意。可能您没有足够的数据来推断维度d空间中的参数。通常，解决这个问题的方法是采用MAP估计，而不是ML估计

对于多元正态分布，这是一个很好的解释。MAP估计将逆Wishart分布的矩阵参数添加到ML协方差矩阵估计中，如果选择正确，将消除奇异性问题

---

如果您实际上正在尝试为正态分布的数据创建一个分类器，而不仅仅是做一个实验，那么更好的方法是使用一种有区别的方法。多元正态分布的决策边界是二次的，因此只需将二次核与支持向量机结合使用即可。

不幸的是，so不支持LaTeX，因此公式无法使用。谢谢@lejlot的要点是使用贝叶斯分类器来测试像PCA、LDA这样的降维方法。那么，我可以说我必须尝试另一个判别函数，因为样本协方差矩阵必须为零吗？谢谢，我只是在寻找一个分类器（以及根据要求的贝叶斯）来衡量降维算法的性能。我试着看了看，但不确定。你能就这个问题提出一些具体的建议吗？米隆，谢谢！