17、信息论与机器学习中的决策树技术

信息论与机器学习中的决策树技术

1. 数据集介绍

在机器学习领域，数据集是研究的基础，它由一系列对象或观测值组成，每个对象由一组属性（SA）来定义，而每个属性都有其对应的可能取值集合，即属性域。

1.1 示例数据集

以一个包含14条天气观测记录的小型数据集为例，每条观测记录由四个属性描述：
- 属性集合 ：SA = {Outlook, Temperature, Humidity, Windy}
- 各属性的取值域 ：
- .dom(Outlook) = {sunny, overcast, rain}
- .dom(Temperature) = {hot, mild, cool}
- .dom(Humidity) = {normal, high}
- .dom(Windy) = {true, false}

每个观测记录属于一个类别，在这个数据集中类别为P或N，分别对应适合打网球（P）和不适合打网球（N）的日子。

1.2 机器学习分类算法

机器学习算法主要分为有监督分类和无监督分类。在有监督机器学习中，每个对象都属于一个预定义的类别，如本数据集中的P和N。这种技术常用于决策树的归纳，通过训练集自动创建决策树，之后该决策树就能对训练集之外的示例进行类别预测。

机器学习技术使得构建数据分类模型变得更加高效，无需手动明确分类规则。由于大量数据的可获取性，这些技术在语言处理的各个领域都非常流行，广泛应用于文本分类、词性标注、组检测、命名实体识别和翻译等自然语言处理任务中。