Statistics 如何理解信息论中的协同效应？

在信息论中，多元互信息（MMI）可以是协同（负）或冗余（正）。为了模拟这两种情况，假设有三个变量X、Y和Z，它们都取0或1（二进制变量）。我们重复取样12次

案例1:

X = [ 0 0 0 0 0 0 1 1 1 1 1 1 ]
Y = [ 0 0 0 0 1 1 0 0 1 1 1 1 ]
Z = [ 0 0 1 1 1 1 0 0 0 0 1 1 ]

X = [ 0 0 0 0 0 0 1 1 1 1 1 1 ]
Y = [ 0 0 0 0 0 1 0 1 1 1 1 1 ]
Z = [ 0 1 1 1 1 1 0 0 0 0 0 1 ]

在这种情况下，我们假设当Y和Z都是0或1，X分别取0或1时，XYZ-taht之间存在一种机制。当Y=0，Z=1，那么X取0，Y=1，Z=0，那么X取1

在这种情况下，mmi（X，Y，Z）=-0.1699，表明三个变量之间存在协同效应

案例2:

X = [ 0 0 0 0 0 0 1 1 1 1 1 1 ]
Y = [ 0 0 0 0 1 1 0 0 1 1 1 1 ]
Z = [ 0 0 1 1 1 1 0 0 0 0 1 1 ]

X = [ 0 0 0 0 0 0 1 1 1 1 1 1 ]
Y = [ 0 0 0 0 0 1 0 1 1 1 1 1 ]
Z = [ 0 1 1 1 1 1 0 0 0 0 0 1 ]

这种情况下的机制与上述相同。不同之处在于，XY的采样数越多，取值不同，而XY的采样数越少，即0或1

mmi（X，Y，Z）=0.0333，表示冗余

---

到目前为止，我能说在这两种情况下，协同和冗余显示了三个变量之间相似的机制（或关系）？但我们如何理解现实数据中的冗余，尤其是协同作用？

你在哪里？在我的第二个例子中，X=[0 0 0 0 0 0 1 1 1 1 1 1]Z1=[0 0 0 1 0 1 1 1 1 1 1 1]Z2=[0 0 1 1 1 1 1 1 1 0 0 0 1 1 1 1 1]MMI在这三个变量中是负值，表示协同作用，但我不明白为什么Z1和Z2一起给出的X信息比单独给出的多，这是抽象的。第三个例子中的变量与第二个例子的关系相似，但第三个例子MMI是冗余的。据我所知，协同和冗余应该反映变量之间的不同关系。这和我的例子有冲突吗？