互信息Mutual Information

在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。 互信息与各种熵之间的关系如下图：

其中H(X)和H(Y) 是边缘熵，H(X|Y)和H(Y|X)是条件熵，而H(X,Y)是X和Y的联合熵。注意到这组关系和并集、差集和交集的关系类似，用Venn图表示。两个连续随机变量互信息的定义：

互信息越大，相关性越强，两个独立变量的互信息为0.