“机器学习实战”刻意练习——分类问题：K近邻算法

参考：Python3《机器学习实战》学习笔记（一）：k-近邻算法(史诗级干货长文) - Jack-Cui - CSDN博客

一、概述

简单地说，K-近邻算法就是采用测量不同特征值之间的距离方法进行分类。

其工作原理是：

存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。
输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征**最相似数据（最近邻）**的分类标签。
一般来说，我们只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处,通常K是不大于20的整数。
最后，选择K个最相似数据中出现次数最多的分类，作为新数据的分类。

优点和缺点：

优点 : 精度高、对异常值不敏感、无数据输入假定。
缺点 : 计算复杂度高、空间复杂度高。

适用数据范围 :

数值型
标称型。

k-近邻算法的一般流程：

收集数据：可以使用爬虫进行数据的收集，也可以使用第三方提供的免费或收费的数据。一般来讲，数据放在txt文本文件中，按照一定的格式进行存储，便于解析及处理。
准备数据：使用Python解析、预处理数据。
分析数据：可以使用很多方法对数据进行分析，例如使用Matplotlib将数据可视化。
测试算法：计算错误率。
使用算法：错误率在可接受范围内，就可以运行k-近邻算法进行分类。

二、代码实现（python3）

1.准备数据集

import numpy as np				#导入科学计算包numpy

def createDataSet():            #创建数据集
    #group:数据集,二维特征
    group=np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    #labels:labels
    labels=['A','A','B','B']
    return group,labels

if __name__ == "__main__":
    #创建数据集
    group,labels=createDataSet()
    #打印数据集
    print(group)
    print(labels)

输出

[[1.  1.1]
 [1.  1. ]
 [0.  0. ]
 [0.  0.1]]
['A', 'A', 'B', 'B']

2.从文本文件中解析处理数据

对未知类别属性的数据集中的每个点依次执行以下操作：

(1)计算已知类别数据集中的点与当前点之间的距离；
我们使用欧氏距离公式，计算两个向量点之间的距离。即
$d(p,q)=d(q,p)=\sqrt{ ( q_{1}-p_{1} )^{2}+( q_{2}-p_{2} )^{2}+\cdot \cdot \cdot +( q_{n}-p_{n} )^{2}}$