k-近邻算法（kNN）

最近假期，参考李航的《统计学习方法》和Peter Harrington的《机器学习实战》整理了之前学习的机器学习算法（原理+python实现），欢迎小伙伴们交流。

1.kNN原理

k近邻算法比较简单、直观，简单的说就是采用测量不同的特征值之间的距离方法进行分类，也就是给定一个训练数据集，对新的输入实列，在训练数据集中找到与该实例最相似（最邻近）的k个实列，这k个实列所属最多的类就是该输入实列的类别。

2.kNN特点

优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高
使用范围：数值型和标称型

3.kNN实现

def classify0(inX, dataSet, labels, k):
    #获取训练样本数量
    dataSetSize = dataSet.shape[0]
    #构造输入值和训练样本的差值矩阵 
    diffMat = tile(inX, (dataSetSize,1)) - dataSet