Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/cmake/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Machine learning 马尔可夫链-带“的样本的可能性;“看不见的”;观测值(概率0)_Machine Learning_Markov Chains_Markov_Unsupervised Learning_Markov Models - Fatal编程技术网

Machine learning 马尔可夫链-带“的样本的可能性;“看不见的”;观测值(概率0)

Machine learning 马尔可夫链-带“的样本的可能性;“看不见的”;观测值(概率0),machine-learning,markov-chains,markov,unsupervised-learning,markov-models,Machine Learning,Markov Chains,Markov,Unsupervised Learning,Markov Models,我有一个大的马尔可夫链和一个样本,我想计算它的可能性。问题在于,样本中的某些观测或转换不会出现在马尔可夫链中,这使得总似然为0(或对数似然-无穷大)。不可能使用更多的数据来构造马尔可夫链。我想知道是否有一种方法仍然有一个有意义的可能性 我已经试着过滤掉样本中的这些“未知”观察结果,并分别报告它们。但问题是,我想比较样本的可能性和同一样本的可能性,但是在转换之后。转换后的样本具有不同数量的“未知”观测值。所以我认为我无法比较这两种可能性,因为它们是用不同数量的观察数据计算出来的 有没有一种方法仍然

我有一个大的马尔可夫链和一个样本,我想计算它的可能性。问题在于,样本中的某些观测或转换不会出现在马尔可夫链中,这使得总似然为0(或对数似然-无穷大)。不可能使用更多的数据来构造马尔可夫链。我想知道是否有一种方法仍然有一个有意义的可能性

我已经试着过滤掉样本中的这些“未知”观察结果,并分别报告它们。但问题是,我想比较样本的可能性和同一样本的可能性,但是在转换之后。转换后的样本具有不同数量的“未知”观测值。所以我认为我无法比较这两种可能性,因为它们是用不同数量的观察数据计算出来的

有没有一种方法仍然可以计算出可以比较的有意义的可能性?我在考虑平均样本中观察到的概率,但我找不到任何正确的方法


提前谢谢

简单地说,概率模型的关键是概率分布估计器。你似乎使用了最简单的方法——经验估计器,形式为

p(event) = count(event) / [count(event) + count(not-event)]
对于看不见的事件,估计导致明显问题的概率为0。有几十个估计器没有这个问题,其中最简单的是拉普拉斯平滑法,在这里你假设有一些不可见事件的概率限制

p(event) = [count(event) + alpha] / [count(event) + count(not-event) + alpha * #event-types]

这样即使是非发生事件也有非零概率。

我猜你要搜索的术语是
伪计数。这样做的目的是在你所有的课程中添加一小部分额外的观察值。(通常只需添加1)。起初,这听起来像是一个可怕的启发,但在贝叶斯统计中有一个非常好的数学动机。