机器学习之sklearn基础教程（第三篇：模型选择和评估）

机器学习之sklearn基础教程（第三篇：模型选择和评估）

1. 模型选择

在机器学习任务中，选择合适的模型是非常重要的。不同的模型适用于不同的问题类型和数据特征。

在模型选择过程中，有几个常用的方法和原则：

• K折交叉验证：使用训练集对模型进行训练，然后使用交叉验证将训练集划分为K个子集，进行多次模型训练和评估，最终选择表现最佳的模型。

• 留一法交叉验证：是K折交叉验证的一种特殊情况，当K等于样本数时使用。对于小样本数据集，留一法交叉验证可能更合适，但计算成本较高。

• 留出法交叉验证：将一部分数据作为训练集，留出一部分作为测试集。这种方法适用于数据集较大的情况，其中测试集应该尽量保持与真实数据分布相似。

• 自助法：从原始数据集中有放回地选取样本来构建多个训练集，然后对每个训练集进行模型训练和评估。这种方法适用于数据集较小的情况，但会产生一些重复样本。

• 网格搜索和交叉验证结合：通过网格搜索优化模型的超参数，同时使用交叉验证进行模型评估，以得到最佳的模型超参数组合。

from sklearn.model_selection import GridSearchCV

# 定义超参数的候选值
param_grid = {
   
   
    'n_neighbors': [3, 5, 7]