Fatal编程技术网
  • nlp/
  • Nlp 如何防止在计算ngrams时贴现为零？

Nlp 如何防止在计算ngrams时贴现为零？

nlp

Nlp 如何防止在计算ngrams时贴现为零？,nlp,n-gram,Nlp,N Gram,我正在使用SRILM的ngram count命令行实用程序，试图为古腾堡语料库的一个子集计算一个三元模型。命令行是： -order 3 -kndiscount -text {$text} -lm {$lm} -gt2min 10 -gt3min 5 -vocab {$vocab} -unk 然而，我的一些行被打折到0（或者至少这就是为什么我认为会发生的原因） -5.018952 roaming -4.189117 roar -0.2053203 -4.30369 roar

我正在使用SRILM的ngram count命令行实用程序，试图为古腾堡语料库的一个子集计算一个三元模型。命令行是：

 -order 3 -kndiscount -text {$text} -lm {$lm} -gt2min 10 -gt3min 5 -vocab {$vocab} -unk
然而，我的一些行被打折到0（或者至少这就是为什么我认为会发生的原因）

-5.018952   roaming
-4.189117   roar    -0.2053203
-4.30369    roared  0    <-- discounted to zero?

-5.018952漫游
-4.189117轰鸣-0.2053203
-4.30369咆哮0根据，您所指的数字是退避重量。有关更多信息，请阅读