信息熵、条件熵

### 决策树算法中的信息熵和条件熵 #### 信息熵的定义及计算方法 信息熵是对数据集不确定性的一种度量方式。在一个给定的数据集中，如果样本分布越均匀，则其不确定性越高；反之，若某一类别的概率接近于1，则不确定性较低。对于具有 \( n \) 种可能取值的概率分布 \( P(X=x_i)=p_i (i=1,2,...,n) \)，信息熵可以表示为： \[ H(X) = -\sum_{i=1}^{n}{p_i \log_2{p_i}} \] 这里，\( p_i \) 表示第 \( i \) 类别的概率[^1]。 例如，在一个简单的二分类问题中，假设正类的比例为 \( p \)，负类的比例则为 \( 1-p \)，那么该数据集的信息熵可由下式给出： \[ H(p) = -(p \cdot \log_2{p}) - ((1-p)\cdot \log_2{(1-p)}) \] 此公式用于衡量当前数据集的整体混乱程度或纯度[^3]。 #### 条件熵的定义及计算方法 条件熵用来描述当已知某个特征条件下目标变量仍然存在的不确定性的大小。设离散随机变量 \( X \) 和 \( Y \)，其中 \( X \) 是输入特征集合，而 \( Y \) 则为目标标签集合。条件熵被定义如下： \[ H(Y|X) = \sum_{x \in Values(X)}P(x) H(Y|x) \] 具体来说，这代表了在知道特定属性值的情况下，剩余平均所需额外信息来完全确定输出的结果[^2]。 为了更直观地理解这一点，考虑这样一个场景：“买电脑”的实例中有三个因素影响购买决定—年龄、收入水平以及是否有学生身份。假如我们现在关注的是“年龄”，我们可以分别计算不同年龄段人群对应的子集上的信息熵，并加权求和得到整个划分后的总条件熵。 以下是基于上述理论的一个Python实现片段展示如何手动计算这些值: ```python import numpy as np def entropy(labels): """ Calculate the Shannon Entropy of a given set """ value, counts = np.unique(labels, return_counts=True) probs = counts / len(labels) return sum(-p * np.log2(p) for p in probs) def conditional_entropy(data, feature_index, target_column=-1): """ Compute Conditional Entropy based on one specific attribute""" total_instances = data.shape[0] unique_values, count_per_value = np.unique( data[:,feature_index],return_counts=True) weighted_sum_of_entropies = 0 for val,cnt in zip(unique_values,count_per_value): subset_indices = np.where(data[:,feature_index]==val)[0] sub_labels = data[subset_indices,target_column] prob_val = cnt/total_instances ent_sub = entropy(sub_labels) weighted_sum_of_entropies +=prob_val*ent_sub return weighted_sum_of_entropies ```