maoyuanming0806的博客

线性回归：Liner Regression主要是回忆一下最小二乘和梯度下降文章目录什么是线性回归线性回归能做什么线性回归一般表达式如何计算（学习）参数w，b求解损失函数最小化L时w和b值的方法：最小二乘法代码实现求解损失函数最小化L时w和b值的方法：梯度下降法代码实现多项式的回归代码实现过拟合、欠拟合、正则化什么是线性回归线性：两个变量之间的关系是一次函数关系的图象是直线，叫做线性。非线性：两个变量之间的关系不是一次函数关系的图象不是直线，叫做非线性。回归：人们在测量事物的时候因为客观条件.

文章目录逻辑回归原理什么是逻辑回归Sigmoid函数逻辑回归的损失函数损失函数变换过程:从极大似然估计理解逻辑回归的损失函数损失函数变换过程:从交叉熵的角度理解逻辑回归的损失函数逻辑回归损失函数求解逻辑斯特回归为什么要对特征进行离散化逻辑回归应用优缺点（特点）一般应用场景对于过拟合和欠拟合等优化方案基于逻辑回归的分类示例手动实现逻辑回归使用sklearn逻辑回归模型逻辑回归原理什么是逻辑回归注意，本文里的y_pred指的是y预测值逻辑回归是用来做分类算法的，大家都熟悉线性回归，一般形式是y_pr

KNN k近邻文章目录KNN算法K近邻中近邻的距离度量欧式距离标准化欧式距离曼哈顿距离汉明距离夹角余弦杰卡德相似系数皮尔逊系数切比雪夫距离闵可夫斯基距离马氏距离巴氏距离各种“距离”的应用场景距离函数之间的等价关系K近邻中K值的选择KNN最近邻分类算法的过程基于KNN的手写字体识别分类实践KNN算法何谓K近邻算法，即K-Nearest Neighbor algorithm，简称KNN算法，单从名字来猜想，可以简单粗暴的认为是：K个最近的邻居，当K=1时，算法便成了最近邻算法，即寻找最近的那个邻居。.

来，继续回顾基础算法文章目录背景&贝叶斯原理贝叶斯分类器朴素贝叶斯分类器西瓜数据集下的朴素贝叶斯示例朴素贝叶斯分类的优缺点朴素贝叶斯关键问题朴素贝叶斯企业中的应用案例基于朴素贝叶斯的垃圾邮件分类背景&贝叶斯原理朴素贝叶斯基于的原理是贝叶斯原理。贝叶斯原理：通过相关概率已知的情况下利用误判损失来选择最优的类别分类。贝叶斯原理是英国数学家托马斯·贝叶斯提出的。贝叶斯是个很神奇的人，他的经历类似梵高。生前没有得到重视，死后，他写的一篇关于归纳推理的论文被朋友翻了出来，并发.

决策树是很多算法模型的基础，回顾下什么是决策树如图，思考一下一个决策问题：是否去相亲，一个女孩的母亲要给这个女孩介绍对象。决策树相对于LR模型，简单清晰可解释性好很多，就是构造一课树，从根节点走到叶子节点就有答案了。决策树更像是编程语言中的if-else一样，去做条件判断。以上就是决策树的基本思想，那么如果有了一棵决策树，就相当于有了一个模型，接下来就是应用了。和其他模型一样，关注的还是决策树如何构造。决策树的生成决策树基于“树”结构进行决策的，这时我们就要面临两个问题 .

给实习生聊到决策树、GBDT，有几个概念这里再用易懂的方式解释下文章目录信息熵条件熵信息增益信息增益率基尼指数信息熵是决策树的基础信息增益-ID3算法构建决策树信息增益率-C4.5算法构建决策树基尼指数-Cart算法构建决策树信息熵用另外一个词来说就是纯度，一个盒子里只有白球，说明这个盒子很纯，纯度很高。一个集合里只有一类样本，比如表示男女的样本集合U={男，男，…}都是男的，那么就说这个集合纯度很高。纯度相对于信息熵呢？首先熵，是热力学的概念，表示体系混乱度.

概念回顾文章目录幂法则链式法则(Chain Rule)示例链式法则的应用广义幂法则幂法则有时候也会叫次幂法则，仍然是函数求导的法则就是幂次函数的求导法则f(x)=x2的导数f(x)‘=(x2)‘=2xf\left(x\right)=x^2的导数f\left(x\right)^`=\left(x^2\right)^`=2xf(x)=x2的导数f(x)‘=(x2)‘=2x链式法则(Chain Rule)求复合函数导数的一个法则, 是微积分中最重要的法则之一两个函数组合起来的复合函.

前几天朋友问到贝叶斯公式，在给他讲述时有些概念不容易从字面接受。这里记录并通俗解释下文章目录解释案例解释贝叶斯公式解释先验概率：根据以往经验和分析得到的概率，以因求果问题中因的概率。（个人理解：先，即事情未应验前来估计发生的概率，也就是没有任何事实依据来估计发生的概率）条件概率：某个事情发生情况下另一件事情发生的概率（很好理解，不多解释）后验概率：一种条件概率。指依据得到"结果"信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是"执果寻因"问题中的"因"（个人理解：后，事情.