Machine learning 分类中的熵

Machine learning 分类中的熵,machine-learning,classification,Machine Learning,Classification,我只是对熵有一些怀疑。熵公式如下所示: -求和(p(i|j)log2 p(i|j) 这是目标属性的公式,它只有两个值。如果目标属性有两个以上的类值(比如高、中、低),该怎么办?公式会受到什么影响? 是吗?, -求和(p(i|j)log3p(i|j)) 另一个问题: 如何在没有任何偏差的情况下计算随机基线分类器的精度? 假设我的问题是: 1)class1=50% and class2=50% 2)class1=40% and class2=60% 3)class1=10%,class2=20

我只是对熵有一些怀疑。熵公式如下所示: -求和(p(i|j)log2 p(i|j) 这是目标属性的公式,它只有两个值。如果目标属性有两个以上的类值(比如高、中、低),该怎么办?公式会受到什么影响? 是吗?, -求和(p(i|j)log3p(i|j))

另一个问题: 如何在没有任何偏差的情况下计算随机基线分类器的精度? 假设我的问题是:

 1)class1=50% and class2=50%
 2)class1=40% and class2=60%
 3)class1=10%,class2=20% and class3=70%

你能帮我回答这两个问题吗?

不,对数通常选择以2为底,“位”


但事实上,日志的基础只是一个常数,在大多数情况下,它会被抵消,或者是一个不重要的全局缩放常数。

谢谢你。你能告诉我基线准确性的答案吗?这部分无法回答,它是不完整的。这实际上是采访中为我提出的一个问题。我无法理解answer因为他们的回答是无偏见的。在面试中,你可以要求澄清。我看到了一个简单的答案,可能是他们想要的答案。但是你需要用“没有偏见”互动检查他们的意思。这甚至可能是测试的一部分!