SparkSnail

1.常用矩阵公式 2.线性回归模型形式： 最小二乘法求解 令上式为0，解得： 梯度下降法求解目标函数： 损失函数： 梯度下降对损失函数求导： θ的迭代公式为： 批量梯度下降： 随机梯度下降： 随机梯度下降在计算下降最快的方向时时随机选一个数据进行计算，而不是扫描全部训练数据集。3.模型优缺点优点： 实现简单，计算简单 缺点： 不能拟合非线性数据

sigmoid函数sigmoid函数： 函数图像： 函数的导数： （求导过程很简单，略）逻辑回归模型目标函数：把sigmoid套在线性回归的模型上，得到： 损失函数：假设有n个观测样本，观测值分别为设为给定条件下得到yi=1的概率。在同样条件下得到yi=0的条件概率为。于是，得到一个观测值的概率为: 使用最大似然估计，可以估计出使得概率最大的θ参数。 对上式求对数： 所以逻辑回归的

softmax函数总共有k个类别，一个样本属于类别i的概率为：对数似然函数类似逻辑回归，构建softmax的对数似然函数： 损失函数 对损失函数求导： 求解梯度上升 softmax和多个逻辑回归的区别对于选择softmax分类器还是个logistic分类器，取决于所有类别之间是否互斥。 所有类别之间明显互斥用softmax分类器，所有类别之间不互斥有交叉的情况下最好用个logistic分类

线性可分支持向量机支持向量机的基本型 即： 问题可以转化成： 求解方法–最大间隔法： 求解过程使用拉格朗日乘子法，利用拉格朗日对偶性，通过求解对偶问题，得到原始问题的最优解。 构造拉格朗日函数： 原始问题： 对偶问题： 第一步： 首先求解 对w和b求偏导，得： 把求导结果带入L(w,b,α)，得： 即： 这样，原式就变成了求解α，使得

贝叶斯定理朴素贝叶斯分类设样本为x，类别为y 有条件独立性假设： 根据贝叶斯定理，得到类别y的后验概率为： 把条件独立假设带入得到： 贝叶斯分类器可以表示为： 因为在分母中，所有的值是相同的，因此贝叶斯分类器最终表示为： 拉普拉斯平滑为了防止概率出现0的情况，加入平滑。 参考： 《统计学习方法》李航

1.概念概率模型有时候会包含隐含变量，当包含隐含变量时，不能简单地使用极大似然估计直接求解，这时候就需要用到EM算法。EM算法是一种从含有隐含变量的数据中求解极大似然估计的方法。 对数似然函数为： 其中，Z(i)Z(i)Z^{(i)}是隐含变量的值。2.求解为了求解上述对数似然函数，引入隐含变量Z的分布QiQiQ_i QiQiQ_i满足的条件为： 这样，上述对数似然函数...