Sodas的博客

为L2正则项，此处引入正则项除了起正则化本身的作用外，也是为了和软间隔支持向量机的优化目标保持形式上的一致，这样就可以导出对偶问题引入核函数，C为用来调节损失权重的正则化常数。希望得到的惩罚可以达到最小化，找到最小化以后就能找到最好。仔细思考，所谓回归不就是找一个超平面从样本点中穿过，穿的越近越好。之前的章节里说过回归模型怎么去做分类，就是找到一个联系函数，将其化为0/1进行分类。也就是说让中间靠近超平面的点不计损失，在间隔带以外的样本点计算损失，即。支持向量回归的做法和软间隔是非常相似的。

从这个角度来说，上式称为 “正则化” 问题，𝛺(𝑓)称为正则化项，C则称为正则化常数，𝐿𝑝范数是常用的正则化项，其可以使解有不同的性质。PS4-4：在其他地方会看到将这个一般形式整体称为"结构风险"，西瓜书上将这个分成了两部分，西瓜书将两部分合起来的整体称为"待结构风险"。正则化项其实可以理解为"罚函数项"，即通过对不希望的结构施以惩罚，使得优化过程趋向于希望目标，其实就是归纳偏好的概念。，违背的再多一些就无法接受了，实际上就是希望违背的样本点落在图中"紫色"点的位置，那么蓝色虚线段落的距离其实就是

PS3-1：这里涉及到对这个函数概念的一个理解，在这里函数其实现在起到一个空间的变换，在原来的空间上可以定义一个范数Norm(就是一种度量向量或矩阵“长度”或“大小”的函数，||∙||)，假如说为。出现，从来没有单独的出现过，那我们你能不能找到一个不用直接算这个高维向量的内积，而是用一个可以代替内积计算的"东西"，甚至说都不需要知道𝛷(𝑥)到底是什么？这个其实说的就是上面的PS3-1中提出的能对应出来的"甚高维空间"。，这个核矩阵就要求了，这个对角线是为0的，且是对称的，半正定的(所有特征值大于等于0)

𝛤(𝜇，𝜆)为拉格朗日函数𝐿(𝑤,𝑏,𝛼)关于 𝑥 的下确界。⑤𝑠𝑢𝑝{𝑥∈ℝ| 0＜𝑥＜10}=10：集合 {𝑥∈ℝ| 0＜𝑥＜10} 的上确界是 10，因为 10 是大于集合中所有元素的最小值，但 10 不在集合中。②𝑖𝑛𝑓{𝑥∈ℝ| 0＜ 𝑥＜10}=0：集合 {𝑥∈ℝ|0＜𝑥＜10} 的下确界是 0，因为 0 是小于集合中所有元素的最大值，但 0 不在集合中。PS2-4：这里的"∇𝑥"就是对变量x的梯度，其实就是对x求导，其中不等式的约束的乘子必须是大于

知识点分栏

评估部分知识点

神经元收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值θ进行比较(做减法)，然后通过"激活函数"(模拟"抑制"和"激活")处理以产生神经元的输出（通常是给下一个神经元）。神经网络中最基本的成分是神经元模型，神经元模型是一个包含输入，输出与计算功能的模型。但是阶跃函数不连续且不光滑，故在M-P神经元模型中，也是采用Sigmoid函数来近似，Sigmoid函数将较大范围内变化的输入值挤压到（0，1）输出值范围内，所以也成为挤压函数。

也就是说想找出的这个红色的折线就是多个属性的多个线性方程。但是学习任务的真实分类边界比较复杂时，必须使用很多段的划分才能得到更好的近似。得到的树就简化了，在决策树里面就是要学一个线性分类器，目标就是让两端每一端里面包含的样本尽可能的同类的多。若我们把每个属性视为坐标空间中的一个坐标轴，则a个属性描述的样本就对应了a维空间中的一个数据点，寻找不同样本的分类边界。决策树是可以转成规则的，并不是僵硬的转化，而是可以通过规则的前件合并进一步得到泛化性能更好的"规则"决策树形成的分类边界的特点：轴平行。

接下来对分支{敲声 = 沉闷}即结点{9,14,17}进行划分，结点{9,14,17}因为包含的样本全部属于同一类别无需划分，直接把结点{9,14,17}标记为叶结点，接下来对分支“敲声 = 浊响”即结点{7,8,13}进行划分，计算过程和上面一样，需要注意的是样本的权重是。比较发现，“纹理”在所有属性中的信息增益值最大，因此，“纹理”被选为划分属性，用于对根节点进行划分。将这12(n)个样本取11(n-1)个区间的中点：{95.5，95，92.5，90，88.5，85.5，82，79，75，71，68}

将结点⑤替换成叶结点，在训练集中为{6，7，15}的训练样本，经过对结点⑥的剪枝。所以将该叶结点标记为"好瓜"。将结点⑥替换成叶结点，在训练集中为{7，15}的训练样本，有一个好瓜，一个坏瓜。此时，验证集中编号为：{4，5，8，11，12}的样例被划分正确，验证集精度为。1）若不划分①结点，则将①结点其标记为叶结点，类别标记为训练样例中最多的类别，即“通过”。①"预剪枝"：在决策树生长过程中，对每个结点在划分前进行估计，若当前结点的划分不能带来决策树泛化性能的提升，则停止划分并将当前结点标记为叶结点。

一件事发生的概率在0-1之间，取对数后小于零，不满足需求，而概率的倒数的对数是大于零的；同时根据之前说的为了使概率越大，信息量越小，取了倒数才能体现这种关联，也就是对数前加负号。④为什么log底数为2？理论上熵中的对数函数可以采用任何底数，通常遵循信息论的普遍传统，使用2作为对数的底，此时单位为bit。表示了一个二进制选择（0或1）所包含的信息量。常见的还有：以e为底，即自然对数，此时的单位为nat。使用较少的是以3为底，此时单位为Tet；以10为底，单位为哈特利(Hartley)。

多分类问题：机器学习领域中的一个重要问题，它指的是将输入数据分为多个类别的问题。类别不平衡问题：也叫数据倾斜或数据不平衡，是指分类任务中不同类别的训练样例数目差别很大的情况。

对数几率回归（Logistic Regression），又称逻辑回归，是一种用于解决分类问题的经典统计模型，尤其适合用于二分类问题。