Machine learning &引用；“共识”；在最大熵分类中

假设我们有三个类：A、B和C，我们使用标准的MaxEnt分类器对文档“d”进行分类，并得出以下概率：

P(d, A) = 0.50
P(d, B) = 0.25
P(d, C) = 0.25

P(d, A) = 0.50
P(d, B) = 0.49
P(d, C) = 0.01

我觉得这在某种程度上与这组概率非常不同：

P(d, A) = 0.50
P(d, B) = 0.25
P(d, C) = 0.25

P(d, A) = 0.50
P(d, B) = 0.49
P(d, C) = 0.01

---

有没有办法对这两者之间的差异进行评分？

你面临的问题通常被称为分类器之间的“共识”。由于多标签MaxEnt可以看作是N个独立的分类器，因此可以将其看作是一组为不同类“投票”的模型

现在，计算这种“共识”的方法有很多，包括：

• 利润率的“天真”计算——“获胜”类别概率与第二个类别概率之间的差异——利润率越大——对分类越有信心
• 熵-所得概率分布的熵越小，决策就越有信心
• 一些涉及KL散度等的进一步方法

---

一般来说，您应该考虑检测结果分布的“一致性”（表示不太自信的决定）或“尖峰度”（表示更自信的分类）的方法。

您面临的问题通常被称为分类器之间的“共识”。由于多标签MaxEnt可以看作是N个独立的分类器，因此可以将其看作是一组为不同类“投票”的模型

现在，计算这种“共识”的方法有很多，包括：

• 利润率的“天真”计算——“获胜”类别概率与第二个类别概率之间的差异——利润率越大——对分类越有信心
• 熵-所得概率分布的熵越小，决策就越有信心
• 一些涉及KL散度等的进一步方法

---

一般来说，您应该考虑检测结果分布的“一致性”（意味着不太自信的决定）或“尖峰度”（表示更自信的分类）的方法。

您要寻找的是交叉熵：具体来说，您需要计算使用分类器的一个输出近似真实分布的成本。概率多类分类器将在许多情况下直接对此进行优化。看一看。

你要寻找的是交叉熵：具体来说，你要计算用分类器输出的一个近似真实分布的代价。概率多类分类器将在许多情况下直接对此进行优化。看看。

+1表示熵。有趣的事实：Max-Ent分类器之所以这样称呼，是因为它们在尊重训练数据的同时，试图最大化P（输出|输入）的熵。在某种程度上，分类器试图找到与训练数据一致的最无偏的概率分布。一致性是错误的——糟糕的概率模型通常会提供完全不正确的非常尖锐的后验概率。您需要通过交叉熵（您建议的KL散度）引用正确的后验概率，以确保您的分布是正确的。毕竟，均匀后验概率可能实际上是准确的…+1的熵。有趣的事实：Max-Ent分类器之所以这样称呼，是因为它们在尊重训练数据的同时，试图最大化P（输出|输入）的熵。在某种程度上，分类器试图找到与训练数据一致的最无偏的概率分布。一致性是错误的——糟糕的概率模型通常会提供完全不正确的非常尖锐的后验概率。您需要通过交叉熵（您建议的KL散度）引用正确的后验概率，以确保您的分布是正确的。毕竟，统一后验概率实际上可能是准确的。。。