机器学习笔记——决策树

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本笔记介绍机器学习中常见的决策树算法。

文章目录

• • 决策树（Decision Tree）概述
  • 基本概念
  • 任务类型
  • • 分类任务
    • 回归任务
    • 分类和回归中的差异
  • 决策树算法的具体实现
  • • 比较总结
    • ID3（Iterative Dichotomiser 3）
    • • 原理
      • 主要特点
      • 信息熵（Entropy）
      • 信息增益（Information Gain）
      • 算法流程
      • 优点
      • 缺点
    • C4.5
    • • 原理
      • 主要特点
      • 信息增益比（Information Gain Ratio）
      • 固有信息（Intrinsic Information）
      • 处理连续型变量
      • 处理缺失值
      • 算法流程
      • 优点
      • 缺点
    • CART（Classification and Regression Tree）
    • • 原理
      • 主要特点
      • 分类任务基尼指数（Gini Index）
      • 回归任务均方误差（Mean Squared Error, MSE）
      • 分类树算法流程
      • 回归树算法流程
      • 优点
      • 缺点
  • 决策树的过拟合和欠拟合
  • • 解决欠拟合
    • 解决过拟合
  • 剪枝（Pruning）
  • • 预剪枝（Pre-pruning）
    • 后剪枝（Post-pruning）
    • • C4.5 的错误率估计剪枝操作
      • CART 的成本复杂度剪枝操作
    • 总结
• 历史文章

决策树（Decision Tree）概述

决策树是一种基于树形结构的机器学习算法，广泛应用于分类和回归任务中。它通过一系列的规则将数据集划分为不同的子集，从而进行分类或预测。决策树算法直观、易于解释，并且能够处理复杂的特征交互。

基本概念

• 节点（Node）：
  • 根节点（Root Node）：树的起始节点，表示整个数据集。
  • 内部节点（Internal Node）：表示数据集的划分条件，包含特征和阈值。
  • 叶节点（Leaf Node）：表示分类或回归的最终结果，包含类别标签或连续值。
  <