机器学习——互信息（超详细）-CSDN博客

本文链接：https://blog.csdn.net/leaf_lucky/article/details/149799302

在机器学习中，Mutual Information（互信息） 是一种用于衡量两个变量之间相关性或依赖性的统计量。它描述了一个变量中包含了多少关于另一个变量的信息，广泛用于特征选择、信息增益计算等任务。

一、互信息的定义

互信息（Mutual Information, MI）基于信息论，衡量随机变量 $X$ 和 $Y$ 的信息共享程度：

$I(X;Y) = \sum_{x \in X} \sum_{y \in Y} p(x,y)log\frac{p(x,y)}{p(x)p(y)}$

其中：

$p(x,y)$ ：联合概率分布

$p(x)$ ：X的边缘分布

$p(y)$ ：Y的边缘分布

直观解释：

当 $X$ 和 $Y$ 完全独立时， $p(x,y)=p(x)p(y)$ ，此时 $I(X;Y) = 0$

当 $X$ 能完全决定 $Y$ 时，互信息越大

二、直观理解

互信息衡量“减少不确定性”：知道 $X$ 的值后，能减少多少对 $Y$ 的不确定性？

它可以看作是熵（Entropy）的差值：

$I(X;Y) = H(Y)-H(Y|X)$

其中：

$H(Y)$ ： $Y$ 的熵（不确定性）：

$H(Y) = - \sum_{y \in Y} p(y) \log p(y)$

$H(Y|X)$ ：已知 $X$ 后 $Y$ 的条件熵（剩余不确定性）：

$H(Y \mid X) = - \sum_{x \in X} \sum_{y \in Y} p(x,y) \log p(y \mid x)$

如果 $X$ 对 $Y$ 提供了很多信息，则条件熵会降低，互信息值就大。通俗来讲的话：就是 $Y$ 发生的概率减去在已知 $X$ 发生时 $Y$ 发生的概率。

利用韦恩图表示为：

三、特征选择中的应用

在机器学习中，互信息常用于衡量特征与目标变量之间的关联度，尤其适合非线性关系。

示例：

假设要预测患者是否患病（ $Y$ : 0/1），并有以下特征：

年龄（ $X1$ ）
血压（ $X2$ ）
邮编（ $X3$ ）

我们可以计算：

$I(X1;Y),I(X2;Y),I(X3;Y)$

如果 $I(X3;Y)\approx 0$ ，说明邮编与疾病无关，可以舍弃。

如果 $I(X1;Y)$ 和 $I(X2;Y)$ 较大，则应保留。

四、与相关系数的区别

相关系数（如皮尔逊相关）：只衡量线性关系。

互信息：能捕捉任意关系（包括非线性），更通用。

例如：

$Y = X^{2}$ 的情况下，皮尔逊相关系数 ≈ 0（因为非线性），但互信息 $I(X;Y)$ （存在强关系）。

五、在Python中计算互信息

Scikit-learn 提供了互信息计算工具：

from sklearn.feature_selection import mutual_info_classif, mutual_info_regression
import pandas as pd
from sklearn.datasets import load_iris

# 以鸢尾花数据为例
data = load_iris()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

# 分类问题使用 mutual_info_classif
mi_scores = mutual_info_classif(X, y)
print("互信息分数：", mi_scores)

输出的分数越高，说明该特征与目标变量关系越强。