Algorithm 在哪里可以找到用于自然语言处理的维特比算法转换值?
我刚刚看了一个视频,他们使用维特比算法来确定句子中的某些单词是否是名词/动词/形容词等,他们使用了转换和发射概率,例如,单词“Time”用作动词的概率是已知的(发射)和名词指向动词的概率(转换) (视频) 我如何为这个用例找到一个好的转换和发射概率数据集Algorithm 在哪里可以找到用于自然语言处理的维特比算法转换值?,algorithm,dataset,probability,viterbi,Algorithm,Dataset,Probability,Viterbi,我刚刚看了一个视频,他们使用维特比算法来确定句子中的某些单词是否是名词/动词/形容词等,他们使用了转换和发射概率,例如,单词“Time”用作动词的概率是已知的(发射)和名词指向动词的概率(转换) (视频) 我如何为这个用例找到一个好的转换和发射概率数据集 甚至只是一个展示了所有概率的例子,我想在演示中使用真实的数字 通常,隐马尔可夫模型(HMMs)的实现不仅可以执行用于标记的维特比算法,还可以执行用于训练模型的算法(例如Baum-Welch算法)。然后,获得模型的方法(即,转移和发射概率集)是在
甚至只是一个展示了所有概率的例子,我想在演示中使用真实的数字 通常,隐马尔可夫模型(HMMs)的实现不仅可以执行用于标记的维特比算法,还可以执行用于训练模型的算法(例如Baum-Welch算法)。然后,获得模型的方法(即,转移和发射概率集)是在合适的训练语料库(例如,数据库)上运行训练算法 我不知道有任何免费提供的、现成的基于HMM的POS标记器实现,它带有一个预先训练好的模型,可以随时检查。然而,在许多方面类似于HMM的方法是条件随机场(CRF)。由日本东北大学创建的这款手机似乎附带了一个预先培训过的英语模型(下载并解包后请参阅文件
model/model.txt
)。该文件是人类可读的,但要了解格式的详细信息,您可能必须联系作者