Computer science 互信息/熵计算帮助

希望有人能给我一些关于熵问题的建议

假设X是从均匀整数分布0-32（含）中随机选择的

< P>计算熵，H（x）＝32位，因为每个席的发生概率相等。

现在，假设执行以下伪代码

int r=rand（0,1）；//随机整数0或1

r=r*33+X

如何计算两个变量r和X之间的互信息

互信息的定义是I（X；Y）=H（X）-H（X | Y），但我并不真正理解如何将条件熵H（X | Y）应用于这个问题

---

谢谢

如果这是家庭作业，那么我会给出提示。（另外，我假设X~unif[0,31]，那么这些数字计算得很好。你确定它是[0,32]而不是[0,31]？）

首先，检查H（X）的计算。H（X）=5，而不是32

其次，方程式r=33r+X毫无意义。让我使用不同的变量：

Y=32R+X

第三，你没有说明R的概率分布。假设0和1是等概率的，那么H（R）=1

正如你所说，I（X；Y）=H（X）-H（X | Y）=H（Y）-H（Y | X）。考虑H（yx）。如果X给定，即保持不变，那么Y只依赖于R，对吗？因此，H（Y | X）=H（R）

---

最后，用总概率定律计算Y的概率分布。（提示：这是一个简单的概率分布。）然后你可以计算H（Y），最后是I（X；Y）。

如果这是作业，那么我会给出提示。（另外，我假设X~unif[0,31]，那么这些数字计算得很好。你确定它是[0,32]而不是[0,31]？）

首先，检查H（X）的计算。H（X）=5，而不是32

其次，方程式r=33r+X毫无意义。让我使用不同的变量：

Y=32R+X

第三，你没有说明R的概率分布。假设0和1是等概率的，那么H（R）=1

正如你所说，I（X；Y）=H（X）-H（X | Y）=H（Y）-H（Y | X）。考虑H（yx）。如果X给定，即保持不变，那么Y只依赖于R，对吗？因此，H（Y | X）=H（R）

最后，使用总概率定律计算Y的概率分布。（提示：这是一个简单的概率分布。）然后你可以计算H（Y），最后是I（X；Y）