2301_76654710的博客

我们知道分类算法主要用于对进行分类，标签型数据有一下几个特点：无序性、非数值性、多样性。比如“性别”可以分为“男”和“女”，但“男”和“女”之间不存在大小、高低等顺序关系，也不是数值，分类算法就是针对这样的数据。

KNN（K-Nearest Neighbors，K近邻）算法是一种基本的分类方法（也可用于回归），它根据K个邻居样本的类别来判断当前样本的类别，核心原理是。例如： 有10000个样本，选出离样本A的7个“邻居”，然后在这7个样本中假设：类别1有2个，类别2有3个，类别3有2个，那么就可以认为A样本属于类别2，因为在它的7个“邻居”中 类别2最多，用一句古话解释就是：近朱者赤近墨者黑。

在机器学习时，我们获得的原始数据往往会存在以下问题：信息冗余或无关（如无关字段、重复特征）；格式不适合模型（如文本、类别数据需要数值化）；缺失值或噪声（如数据采集错误）；维度灾难（特征过多导致计算效率低）等，所以在对数据集进行进一步操作之前就需要特征工程，即将任意数据(如文本或图像)转换为可用于机器学习的数字特征，