周志华机器学习西瓜书 第八章 集成学习-学习笔记(超详细)

8.1个体集成        个体学习器可以由  C4.5决策树算法  BP神经网络等  来训练。        个体学习器(同质)---->基学习器(弱学习器---指泛化性能略优于随机猜测的学习器，如二分类问题上精度略高于50%的分类器)  相应的算法叫做  基学习算法。        个体学习器(异质)----->组件学习器或者直接称为个体学习器。        (理论上来说)对“...

CH8 集成学习

先从初始训练集中训练出一个基学习器，再根据基学习器表现对训练样本分布调整，使先前错的样本后续得到更大关注，基于调整后的样本训练下一个基学习器，反复直到达到指定值。同质”集成“：只包含同种类型的个体学习器，同质集成中的个体学习器亦称“基学习器”，相应的学习算法称为“基学习算法”个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些学习器结合。异质“集成”：由不同学习算法生成，不再有基学习法，称“组件学习器”。将个体学习器称为初级学习器，用于结合的学习器称为次学习器或元学习器。

本章笔记非常详细适合基础薄弱者，整理了很多大佬的笔记和自己的理解，希望读者认真研究仔细推敲。

西瓜书第二章，加入了很多自己的理解。

机器学习 学习笔记4 总目录 第八章 集成学习 8.1 个体与集成 集成学习的一般结构:先产生一组"个体学习 器" (individual learner)，再用某种策略将它们结合起来。 ...

上篇主要介绍了鼎鼎大名的EM算法，从算法思想到数学公式推导（边际似然引入隐变量，Jensen不等式简化求导），EM算法实际上可以理解为一种坐标下降法，首先固定一个变量，接着求另外变量的最优解，通过其优美的“两步走”策略能较好地估计隐变量的值。本篇将继续讨论下一类经典算法–集成学习。

第八章 集成学习 8.1【个体与集成】 1、集成学习的一般结构 示意图 个体学习器(individual learner) 基学习器(base learner) 同质(homogenous)集成：集成中只包含同种类型的个体学习器 基学习器——同质集成中的个体学习器 基学习算法(base learning algorithm)——相应的学习算法 组建学习器(component learner) 异质...

第八章的知识点

文章目录参考资料1. 基本概念1.1 个体与集成2. Boosting3. Bagging4.随机森林5. 结合策略5.1 平均法（回归问题）5.2 投票法（分类问题）5.3 学习法6. 多样性（diversity）7. 后记7.1 随机森林分类效果的影响因素7.2 随机森林有什么优缺点7.3 随机森林如何处理缺失值？7.4 什么是OOB？随机森林中OOB是如何计算的，它有什么优缺点？7.5 随机森林的过拟合问题 参考资料 Machine-learning-learning-notes LeeML-Not

关于周志华老师的《机器学习》这本书的学习笔记 记录学习过程 本博客记录Chapter8

集成学习 目录： 个体和集成 Boosting Bagging与随机森林 Bagging 随机森林 综合策略 平均法 投票法 学习法 多样性 误差-分歧分解 多样性度量 多样性增强 内容： 个体和集成 Boosting Bagging与随机森林 Bagging 随机森林 综合策略 平均法 投票法 学习法 多样性 误差-分歧分解 多样性度量 多样性增强 ...

第一章 绪论 思维导图 关键问题 1.假设空间 概念 所有属性可能取值构成的假设集合 计算 列出可能的样本点，即特征向量 2.版本空间 概念 与训练集一致的假设集合 习题: 1.1 计算步骤 先列出假设空间 删除与正例不一致，与反例一致的假设 得到版本空间 第一步 假设空间： 色泽取值：青绿、乌黑 根蒂取值：蜷缩、稍蜷 敲声取值： 浊响、沉闷 1. 色泽 = *, 根蒂 = *, 敲声 = * 2. 色泽 = 青绿, 根蒂 = *, 敲声 = * 3. 色泽 = 乌黑, 根蒂 = *, 敲

以很高的概率 得到一个很好的模型训练数据 (数据样本)模型:决策树,神经网络,支持向量机,Boosting,贝叶斯网数据集:数据样本训练数据:用于得出模型测试数据:把模型拿来用示例(instance):色泽 根 敲声样例(example):色泽 根 敲声 好瓜(结果)属性(attribute):色泽 或者 根等属性空间:有几个属性就是几维属性空间(样本空间)特征向量(属性向量):属性空间中的向量(结果)不可知样本(unseen data):未来的数据,不可知假设:所用的模型,模型学到的东西,拟合函