Nlp 包生成具有平滑的n-gram语言模型?(NLTK的替代方案)

Nlp 包生成具有平滑的n-gram语言模型?(NLTK的替代方案),nlp,nltk,n-gram,Nlp,Nltk,N Gram,我想找到某种类型的包或模块(最好是Python或Perl,但其他人会这样做),可以从输入文本自动生成n-gram概率,并且可以自动应用一个或多个平滑算法 也就是说,我正在寻找类似NLTKNgramModel类的东西。我不能把它用于我的目的,因为平滑函数有一些缺陷,当你问一个它以前没有见过的单词的概率时,它会被阻塞 我已经阅读了NLTK的开发论坛,到目前为止,在这方面似乎没有任何进展 还有其他选择吗?看起来我回答了我自己的问题,所以我会在这里提到我发现的东西,以防其他人正在寻找 我发现了两个工具包

我想找到某种类型的包或模块(最好是Python或Perl,但其他人会这样做),可以从输入文本自动生成n-gram概率,并且可以自动应用一个或多个平滑算法

也就是说,我正在寻找类似NLTK
NgramModel
类的东西。我不能把它用于我的目的,因为平滑函数有一些缺陷,当你问一个它以前没有见过的单词的概率时,它会被阻塞

我已经阅读了NLTK的开发论坛,到目前为止,在这方面似乎没有任何进展


还有其他选择吗?

看起来我回答了我自己的问题,所以我会在这里提到我发现的东西,以防其他人正在寻找

我发现了两个工具包:


它们似乎具有非常相似的功能。两者都包括各种平滑功能。

我想另一个答案是下载数据(如果数据适合您的应用程序),或者使用它们。

NLTK还提供了一个ngram模型包,它具有平滑、退避等功能。

您好!你是如何计算困惑的?哪个工具包或包对您有用?我现在也遇到了同样的问题:(无法使用nltk计算困惑。