Algorithm 如何计算n维期望最大化的方差?

Algorithm 如何计算n维期望最大化的方差?,algorithm,machine-learning,data-mining,expectation-maximization,Algorithm,Machine Learning,Data Mining,Expectation Maximization,我一直在研究论文中回顾期望最大化EM,例如: 我有些怀疑,我还没有弄明白。例如,如果每个数据点有多个维度,会发生什么 例如,我有6个数据点和4个维度的以下数据集: >D1 D2 D3 D4 5, 19, 72, 5 6, 18, 14, 1 7, 22, 29, 4 3, 22, 51, 1 2, 21, 89, 2 1, 12, 28, 1 这意味着为了计算期望步骤,我是否需要为每个维度计算4个标准偏差 假设k=3,我也必须计算每个簇的方差吗?我不知道

我一直在研究论文中回顾期望最大化EM,例如:

我有些怀疑,我还没有弄明白。例如,如果每个数据点有多个维度,会发生什么

例如,我有6个数据点和4个维度的以下数据集:

>D1 D2 D3  D4   
5, 19, 72, 5  
6, 18, 14, 1  
7, 22, 29, 4   
3, 22, 51, 1   
2, 21, 89, 2   
1, 12, 28, 1
这意味着为了计算期望步骤,我是否需要为每个维度计算4个标准偏差

假设k=3,我也必须计算每个簇的方差吗?我不知道根据论文中的公式是否有必要。。。或者仅仅是每个维度4个属性的方差?

通常,您使用a,它也包括方差

但这取决于你选择的型号。最简单的模型根本不使用方差。 更复杂的模型只有一个方差值,即所有维度的平均方差。 接下来,您可以为每个维度单独设置一个方差;最后但并非最不重要的是一个完整的协方差矩阵。这可能是最灵活的GMM在流行的使用

根据您的实现,可以有更多

根据R的mclust文档:

一元混合物 E=一维等方差 V=一维变量方差

多元混合 EII=球形,等体积 VII=球形、不等体积 EEI=对角线,等体积和形状 VEI=对角线、可变体积、等形状 EVI=对角线、等体积、不同形状 VVI=对角线,可变体积和形状 EEE=椭球体、等体积、形状和方向 EEV=椭球体、等体积、等形状 VEV=椭球体,等形状 VVV=椭球体,可变体积、形状和方向

单组分 X=单变量正态分布 XII=球面多元正态分布 XXI=对角多元正态分布
XXX=椭圆样多变量正态

谢谢各位!实际上,我想根据我发表的EM论文编写算法,这与udacity课程中的算法相同:目前我正在计算每个维度的平均方差,在我的示例4中。。。我的问题是,按照这个实现,我是否应该计算每个维度的方差4 sigma,并计算每个集群的sigma?我没有使用协方差矩阵,因为我假设所有维度都是独立的。m是一个工具,而不是目标本身。为了将它应用于某个问题,你首先必须陈述你想要解决的问题。根据您的数据,可以构造许多不同的问题,对您的问题有不同的答案。你好,Pentadecagon,谢谢!我知道EM是一种技术,有那么多关于算法不同实现的论文:。。。但我想知道是否有一些问题,我只需要为每个维度计算不同的sigma,或者为每个集群计算sigma?在关于EM的论文中,他们只声明sigma是随机选择的,并且他们只显示数据点的一个维度。