Nlp 如何防止在计算ngrams时贴现为零?

Nlp 如何防止在计算ngrams时贴现为零?,nlp,n-gram,Nlp,N Gram,我正在使用SRILM的ngram count命令行实用程序,试图为古腾堡语料库的一个子集计算一个三元模型。命令行是: -order 3 -kndiscount -text {$text} -lm {$lm} -gt2min 10 -gt3min 5 -vocab {$vocab} -unk 然而,我的一些行被打折到0(或者至少这就是为什么我认为会发生的原因) -5.018952 roaming -4.189117 roar -0.2053203 -4.30369 roar

我正在使用SRILM的ngram count命令行实用程序,试图为古腾堡语料库的一个子集计算一个三元模型。命令行是:

 -order 3 -kndiscount -text {$text} -lm {$lm} -gt2min 10 -gt3min 5 -vocab {$vocab} -unk
然而,我的一些行被打折到0(或者至少这就是为什么我认为会发生的原因)

-5.018952   roaming
-4.189117   roar    -0.2053203
-4.30369    roared  0    <-- discounted to zero?
-5.018952漫游
-4.189117轰鸣-0.2053203
-4.30369咆哮0根据,您所指的数字是退避重量。有关更多信息,请阅读