Matlab 实施相互信息的问题

互信息由公式定义

I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) 

其中X，Y是一些列向量。在我的例子中，X是连续信号，Y是离散信号。大小（X）=100，Y的离散化数量为10，Y的字长为5。现在，我知道首先我们必须找到联合概率，然后是条件概率，然后是I（X，Y）。鉴于此，我有以下实现问题

在计算联合概率时，它们会一直计算到被解相关信号的大小（x）还是字长Y

如何获得I的单个数值和I的绘图

如何找到信道容量

---

看看等式的最后一部分：什么是

H（Y | X）

？假设我们知道

X

，它是

Y

的熵。。。但是

Y

只是

X

的离散化！更具体地说，如果我们知道

X

，那么我们精确地知道

Y

，因此给定

X

的

Y

的熵为零。这就给你留下了

I(X;Y) = H(Y)

---

你的问题还需要考虑到这一点吗？

你可能会得到（更好的）答案，你所说的“字长”是什么意思？谢谢你的指点。（A）如果Y的大小减小，也就是说它被压缩了，那么H（Y | X）仍然是零吗？？（B） 此外，信道容量是否会按I/长度（Y）？？（C） 如果p_1_1=p_11./p_1和p_1_2=p_12./p_1等等是符号1,2出现的条件概率，那么I=constant*（p_1_1.*log（p_1_1/p_1*p_1））+p_1_2.*log（p_1_2/（p_1*p_0））+等等。如果这是找到I的正确方法，那么它将产生一系列数字。我如何才能获得单个数值以及互信息图？（a）只要

Y

的任何值都只有一个

X

。（B） 这取决于你的定义。信道容量通常指的是理论上的最大值，这可能不适用于您的情况。（C） 你想把

I

作为的函数是什么？我可以是用于量化的容器数量的函数，比如说2（=符号数量），我不确定，因为我不知道在这种情况下I=Shannon熵，还是与你的答案中提到的不一样。它应该足够简单，可以为每个量化计算

I=H（Y）

，是吗？在这种情况下，

Y

的香农熵和互信息是相同的，因为

X

提供了关于

Y

的完美知识。信道容量C如何，因为我认为C=互信息I/量化箱？还是其他什么？源熵也意味着香农熵（Y）/量化箱还是除以时间序列的长度？再次感谢您提供的概念性提示。我将不胜感激。