k近邻算法和朴素贝叶斯算法课件

### K近邻算法 #### 基本概念与定义 K近邻算法（K-Nearest Neighbor, K-NN）是一种基本的机器学习算法，主要用于分类任务。它的工作原理非常直观，即根据输入实例在训练数据集中找到最近的K个邻居，并基于这些邻居的类别来进行分类。 #### 定义详解 - **全称**：k-Nearest Neighbor - **简称**：K-NN - **中文**：K-近邻算法 - **定义**：K-近邻算法是一种监督学习算法，用于对未知实例进行分类。该算法的基本思路是在给定的训练数据集中找到与新实例最接近的K个实例，然后根据这K个实例的类别来确定新实例的类别归属。 #### 基本思想 - **训练集**：首先需要有一组已标记的数据作为训练集，这些数据按照已知的分类标准进行划分。 - **相似度度量**：通常使用欧氏距离作为衡量两个实例间相似度的标准。对于二维空间中的两个点\( (x_1, y_1) \)和\( (x_2, y_2) \)，其欧氏距离可表示为\( \sqrt{(x_1 - x_2)^2 + (y_1 - y_2)^2} \)。 - **分类决策**：当K个最近邻确定后，根据它们的类别来决定新实例的类别： - 对于离散型输出（例如分类），新实例的类别将是K个近邻中最常见的类别； - 对于连续型输出（例如回归），新实例的输出将是K个近邻的均值。 #### 示例分析 - **场景**：假设有两类数据，一类表示为蓝色正方形，另一类表示为红色三角形。现在有一个绿色圆形数据点需要分类。 - **K值选择**：K值的选择会影响分类结果。例如，如果K=3，那么最近的3个点中有2个是红色三角形，1个是蓝色正方形，则绿色圆形点被分类为红色三角形。但如果K=5，则最近的5个点中有3个蓝色正方形，2个红色三角形，则绿色圆形点被分类为蓝色正方形。 #### K-近邻算法的关键要素 - **K值的选择**：较小的K值容易发生过拟合，较大的K值则可能导致欠拟合。通常通过交叉验证来选择最优的K值。 - **距离度量**：最常用的距离度量是欧氏距离，但在特定情况下也可以使用其他距离度量方法。 - **分类决策规则**：多数表决是最常用的决策规则，即K个最近邻中出现次数最多的类别作为新实例的类别。 ### 朴素贝叶斯算法 #### 概述 朴素贝叶斯分类器是一种基于概率理论的分类算法，其核心思想是对给定的待分类项，计算在该项出现条件下各个类别的条件概率，选择条件概率最大的类别作为该待分类项的类别。 #### 条件概率 - **定义**：条件概率是指在已知另一个事件发生的情况下某个事件发生的概率。例如，P(A|B)表示在事件B发生的条件下事件A发生的概率。 - **贝叶斯定理**：在朴素贝叶斯分类中，利用贝叶斯定理计算给定证据（特征）时各分类的概率。公式表达为： \[ P(C_k|E) = \frac{P(E|C_k) \cdot P(C_k)}{P(E)} \] 其中，\( P(C_k|E) \)是给定证据\( E \)时类别\( C_k \)的概率；\( P(E|C_k) \)是类别\( C_k \)条件下证据\( E \)的概率；\( P(C_k) \)是类别\( C_k \)的先验概率；\( P(E) \)是证据\( E \)的概率。 #### 朴素假设 - **独立性假设**：朴素贝叶斯分类器假设所有特征之间相互独立。虽然这个假设在实际情况中很少成立，但朴素贝叶斯分类器仍然表现出很好的分类效果，尤其是在文本分类等应用场景中。 #### 应用实例 - **示例**：假设我们有一组训练数据，用于判断纸巾的质量。纸巾的质量可以用两个特征表示：“酸腐蚀的时间”和“能承受的压强”。根据这两个特征，可以使用朴素贝叶斯算法来预测新纸巾的质量。 - **步骤**： 1. **计算先验概率**：根据训练数据计算每种类别（好/坏）的先验概率。 2. **计算条件概率**：根据训练数据计算在不同类别下各特征的条件概率。 3. **分类**：对于新的纸巾样本，计算其属于每一类别的后验概率，选择最大后验概率对应的类别作为预测结果。 K近邻算法和朴素贝叶斯算法各有特点，适用于不同的场景。K近邻算法依赖于距离度量和多数表决规则，而朴素贝叶斯算法则基于概率理论和独立性假设。两者均为机器学习领域中重要的分类算法。