5、决策树：一种强大的分类工具

决策树：一种强大的分类工具

1. 决策树概述

在某些应用场景中，并非所有属性值都能同时获得。例如，在医疗诊断中，医生可能会根据初步的症状逐步安排实验室测试，以逐步缩小可能的诊断范围。因此，我们需要一种分类方法，能够在逐步获取属性值的过程中做出决策。决策树就是这样一种工具，它通过依次选择能提供最多相关信息的属性来进行分类决策。

1.1 决策树的基本结构

决策树由节点和边组成，每个内部节点代表一个属性测试，每个分支代表一个测试结果，每个叶节点代表一个类标签。通过这种方式，决策树能够逐步缩小分类范围，直到最终确定类别。

1.2 决策树的优势

决策树的主要优势在于其 可解释性 。与其他黑箱模型（如贝叶斯和线性分类器）不同，决策树可以通过清晰的规则（如“如果形状=圆形，则选择类别pos”）解释分类结果。此外，决策树不需要所有属性值同时可用，这在属性值难以或昂贵获取的情况下尤为重要。

2. 决策树的构造

2.1 从数据中归纳决策树

构造决策树的过程通常采用递归分割的方法，即每次选择一个属性进行测试，将数据集划分为多个子集，然后对每个子集重复此过程，直到满足某个停止条件（如所有子集中的样本属于同一类）。选择属性的标准通常是基于 信息增益 ，即选择能够最大化减少分类不确定性（熵）的属性。

2.1.1 信息增益的计算

信息增益是衡量一个属性在分类中的重要性的常用指标。具体来说，信息增益定义为划分前后熵的减少量。假设有两个属性A和B，计算信息增益的步骤如下：