集成学习voting Classifier在sklearn中的实现（投票机制）

最新推荐文章于 2024-12-20 23:19:06 发布

五角钱的程序员

最新推荐文章于 2024-12-20 23:19:06 发布

阅读量9.5k

点赞数 21

CC 4.0 BY-SA版权

分类专栏： python系列文章标签：算法人工智能机器学习 python 深度学习

本文链接：https://blog.csdn.net/youif/article/details/105201464

本文深入探讨了机器学习中集成学习的投票机制，包括硬投票和软投票两种方式，通过实例代码展示了如何使用sklearn库实现VotingClassifier，并比较了不同投票方式下模型的准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

Voting即投票机制

机器学习的算法有很多，对于每一种机器学习算法，考虑问题的方式都略微有所不同，所以对于同一个问题，不同的算法可能会给出不同的结果，那么在这种情况下，我们选择哪个算法的结果作为最终结果呢？那么此时，我们完全可以把多种算法集中起来，让不同算法对同一种问题都进行预测，最终少数服从多数，这就是集成学习的思路。

接下来我们就来看看怎样用sklearn实现我们集成学习中的voting classifier

Voting即投票机制

Voting即投票机制，分为软投票和硬投票两种，其原理采用少数服从多数的思想。

1）使用方式

voting = ‘hard’：表示最终决策方式为 Hard Voting Classifier；
voting = ‘soft’：表示最终决策方式为 Soft Voting Classifier；

2）思想

Hard Voting Classifier：根据少数服从多数来定最终结果；
Soft Voting Classifier：将所有模型预测样本为某一类别的概率的平均值作为标准，概率最高的对应的类型为最终的预测结果；

Hard Voting

模型 1：A - 99%、B - 1%，表示模型 1 认为该样本是 A 类型的概率为 99%，为 B 类型的概率为 1%；
在这里插入图片描述

Soft Voting

将所有模型预测样本为某一类别的概率的平均值作为标准；
在这里插入图片描述

Hard Voting 投票方式的弊端：

如上图，最终的分类结果不是由概率值更大的模型 1 和模型 4 决定，而是由概率值相对较低的模型 2/3/5 来决定的；

硬投票代码

'''
硬投票：对多个模型直接进行投票，不区分模型结果的相对重要度，最终投票数最多的类为最终被预测的类。
'''
iris = datasets.load_iris()

x=iris.data
y=iris.target
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3)

clf1 = XGBClassifier(learning_rate=0.1, n_estimators=150, max_depth=3, min_child_weight=2, subsample=0.7,
                     colsample_bytree=0.6