（一）kNN 基础理论

内容来自《机器学习实战》和大神博客，详情请点下方

1. KNN算法

1.1 工作原理

简单地说， k近邻法(k-nearest neighbor, k-NN) 采用测量不同特征值之间的距离的方法进行分类。

工作原理：

• 存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。
• 输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。
• 一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。
• 最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

1.2 KNN算法的一般流程

1.3 KNN的优缺点

优点

• 简单好用，容易理解，精度高，理论成熟，既可以用来做分类也可以用来做回归（如下如）；
• 可用于数值型数据和离散型数据；
• 训练时间复杂度为O(n)；无数据输入假定（对数据没有假设）；
• 对异常值不敏感

缺点

• 计算复杂性高（每次判断测试样本的类别时，需要计算测试样本与所有样本的距离）；空间复杂性高；
• 样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；
• 一般数值很大的时候不用这个，计算量太大。但是单个样本又不能太少，否则容易发生误分。
• 最大的缺点是无法给出数据的内在含义。