Fatal编程技术网
  • nlp/
  • Nlp 如何用nltk计算条件熵？

Nlp 如何用nltk计算条件熵？

nlp

Nlp 如何用nltk计算条件熵？,nlp,entropy,Nlp,Entropy,我正在研究一些NLP问题，现在我想计算文本的条件熵（使用n-grams） 我尝试过使用nltk.bigrams，nltk.probability.ConditionalFreqDist，然后使用nltk.probability.conditionalOrbdist。然而，我发现nltk.probability.conditionalProbbdist类没有存储任何关于条件概率的信息，因此我只能得到给定条件下的熵 在nltk或任何其他软件包中是否有我没有找到的其他工具？当然，我可以自己写，但我想知

我正在研究一些NLP问题，现在我想计算文本的条件熵（使用n-grams）

我尝试过使用
nltk.bigrams
，
nltk.probability.ConditionalFreqDist
，然后使用
nltk.probability.conditionalOrbdist
。然而，我发现
nltk.probability.conditionalProbbdist
类没有存储任何关于条件概率的信息，因此我只能得到给定条件下的熵

在
nltk
或任何其他软件包中是否有我没有找到的其他工具？当然，我可以自己写，但我想知道是否有现成的软件包可以使用（我相信应该有），因为我自己写的可能慢得多