Math 如何计算抛硬币的熵

Math 如何计算抛硬币的熵,math,encoding,statistics,probability,entropy,Math,Encoding,Statistics,Probability,Entropy,我想知道 在重复抛硬币中,我如何计算随机变量X的熵,该变量表示在第一次得到“head”之前要进行的抛硬币次数。变量X可以取1到无穷大的任意数字。概率为: p(X = i) = (1/2)^i 熵是: H = - Sum {i from 1 to infinity} ( p(X = i) * log2(p(X = i)) ) = - Sum {i from 1 to infinity} ( 1/2^i * log2(1/2^i) ) = - Sum {i from 1 to infini

我想知道


在重复抛硬币中,我如何计算随机变量X的熵,该变量表示在第一次得到“head”之前要进行的抛硬币次数。

变量
X
可以取1到无穷大的任意数字。概率为:

p(X = i) = (1/2)^i
熵是:

H = - Sum {i from 1 to infinity} ( p(X = i) * log2(p(X = i)) )
  = - Sum {i from 1 to infinity} ( 1/2^i * log2(1/2^i) )
  = - Sum {i from 1 to infinity} ( 1/2^i * i * log2(1/2) )
  =   Sum {i from 1 to infinity} ( 1/2^i * i )
解决这个问题会产生:

H = 2 bit

你对X了解多少?我投票结束这个问题,因为它似乎与编程无关。