集成学习（中）--1

投票法的原理分析

投票法：投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性。在理想情况下，投票法的预测效果应当优于任何一个基模型的预测效果。

• 分类1：
  • 回归投票法：预测结果是所有模型预测结果的平均值。
  • 分类投票法：预测结果是所有模型种出现最多的预测结果。
• 分类2：
  • 硬投票：预测结果是所有投票结果最多出现的类。
  • 软投票：预测结果是所有投票结果中概率加和最大的类。
• 产生较好结果的条件：
  • 基模型之间的效果不能差别过大。当某个基模型相对于其他基模型效果过差时，该模型很可能成为噪声。
  • 基模型之间应该有较小的同质性。例如在基模型预测效果近似的情况下，基于树模型与线性模型的投票，往往优于两个树模型或两个线性模型。
• 选择：当投票合集中使用的模型能预测出清晰的类别标签时，适合使用硬投票。当投票集合中使用的模型能预测类别的概率时，适合使用软投票。
• 局限性：它对所有模型的处理是一样的，这意味着所有模型对预测的贡献是一样的。一些模型在某些情况下很好，而在其他情况下很差，此时直接使用投票法是有问题的。

案例

# test classification dataset 
from sklearn.datasets import make_classification 
# define dataset 
X, y = make_classification(n_samples=1000, n_features=20, 
n_informative=15, n_redundant=5, random_state=2) 
# summarize the dataset 
print(X.shape, y.shape)

# 使用多个KNN模型作为基模型演示投票法，其中每个模型采用不同的邻居值K参数
# get a voting ensemble of models 
def get_voting(): 
	# define the base models models = list() 
	models.append(('knn1', KNeighborsClassifier(n_neighbors=1))) 
	models.append(('knn3', KNeighborsClassifier(n_neighbors=3))) 
	models.append(('knn5', KNeighborsClassifier(n_neighbors=5))) 
	models.append(('knn7', KNeighborsClassifier(n_neighbors=7))) 
	models.append(('knn9', KNeighborsClassifier(n_neighbors=9))) 
	# define the voting ensemble 
	ensemble = VotingClassifier(estimators=models, voting='hard') 
	return ensemble

# 创建一个模型列表来评估投票带来的提升，包括KNN模型配置的每个独立版本和硬投票模型
# get a list of models to evaluate 
def get_models(): 
	models = dict() models['knn1'] = KNeighborsClassifier(n_neighbors=1) 
	models['knn3'] = KNeighborsClassifier(n_neighbors=3) 
	models['knn5'] = KNeighborsClassifier(n_neighbors=5) 
	models['knn7'] = KNeighborsClassifier(n_neighbors=7) 
	models['knn9'] = KNeighborsClassifier(n_neighbors=9) 
	models['hard_voting'] = get_voting() 
	return models

# evaluate_model()函数接收一个模型实例，并以分层10倍交叉验证三次重复的分数列表的形式返回
# evaluate a give model using cross-validation 
def evaluate_model(model, X, y): 
	cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1) 
	scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1, error_score='raise') 
	return scores

# 报告每个算法的平均性能，还可以创建一个箱形图和须状图来比较每个算法的精度分数分布
# define dataset 
X, y = get_dataset() 
# get the models to evaluate 
models = get_models() 
# evaluate the models and store results 
results, names = list(), list() 
for name, model in models.items(): 
	scores = evaluate_model(model, X, y) 
	results.append(scores) 
	names.append(name) 
	print('>%s %.3f (%.3f)' % (name, mean(scores), std(scores))) 
# plot model performance for comparison 
pyplot.boxplot(results, labels=names, showmeans=True) 
pyplot.show()

参考资料：

https://github.com/datawhalechina/team-learning-data-mining/tree/master/EnsembleLearning