Hhhhuply的博客

第一章 统计学习方法概论使用最小二乘法拟和曲线原代码出处：https://github.com/fengdu78/lihang-code/blob/master/code/第1章 统计学习方法概论(LeastSquaresMethod)/least_sqaure_method.ipynb对于数据(xi,yi)(i=1,2,3...,m)(x_i, y_i)(i=1, 2, 3...,m)(x...

逻辑斯蒂回归源代码：https://github.com/fengdu78/lihang-code/blob/master/code/第6章 逻辑斯谛回归(LogisticRegression)/LR.ipynbLR是经典的分类方法sigmoid函数f(x)=11+e−xf(x) = \frac{1}{1+e^{-x}}f(x)=1+e−x1​线性回归wx=w0∗x0+w1∗x1+w2∗x...

隐马尔科夫链源代码：https://github.com/fengdu78/lihang-code/blob/master/code/第10章 隐马尔可夫模型(HMM)/HMM.ipynbclass HiddenMarkov: # 前向算法 def forward(self, Q, V, A, B, O, PI): N = len(Q) # 状态序列的大小...

支持向量机分离超平面：wTx+b=0w^Tx+b=0wTx+b=0点到直线距离：r=∣wTx+b∣∣∣w∣∣2r=\frac{|w^Tx+b|}{||w||_2}r=∣∣w∣∣2​∣wTx+b∣​∣∣w∣∣2||w||_2∣∣w∣∣2​为2-范数：∣∣w∣∣2=∑i=1mwi22||w||_2=\sqrt[2]{\sum^m_{i=1}w_i^2}∣∣w∣∣2​=2∑i=1m​wi2​​直...

条件随机场给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型。隐马尔科夫模型—（打破观测独立性）—>最大熵马尔科夫—（克服标注偏差问题）—>条件随机场#例题11.1#这里定义T为转移矩阵，列代表前一个y，(ij)代表由状态i转到状态j的概率,Tx矩阵x对应于时间序列#这里将书上的转移特征转换为如下以时间轴为区别的三个多维列表，维度为输出的维度T1=[[0.6,...

朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法对于给定训练数据集，首先基于特征条件独立假设学习输入/输出的联合分布概率；然后基于此模型，对给定的输入x，利用贝叶斯理论求出后验概率的最大的输出y。...

第八章 提升方法提升（boosting）：通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类性能。（针对上一个基本模型分类错误的样本增加权重，使得新的模型重点关注误分类样本）AdaBoostAdaBoost是AdaptiveBoost的缩写，表明该算法是具有适应性的提升算法。算法的步骤如下：1）给每个训练样本（x1,x2,….,xNx_{1},x_{2},….,...

k近邻法源代码：https://github.com/fengdu78/lihang-code/blob/master/code/第3章 k近邻法(KNearestNeighbors)/KNN.ipynbitertools模块itertools是python内置的模块，使用简单且功能强大combinations(iterable, r)创建一个迭代器，返回iterable中所有长度为...

第二章 感知机二分类模型源代码出处：https://github.com/fengdu78/lihang-code/blob/master/code/第2章 感知机(Perceptron)/Iris_perceptron.ipynbf(x)=sign(w∗x+b)f(x) = sign(w*x + b)f(x)=sign(w∗x+b)损失函数 L(w,b)=−Σyi(w∗xi+b)L(w,...

第5章 决策树ID3算法（基于信息增益）entropy（信息熵）：H(x)=−∑i=1npilog⁡piH(x) = -\sum_{i=1}^{n}p_i\log{p_i}H(x)=−∑i=1n​pi​logpi​#熵def calc_ent(datasets): data_length = len(datasets) #类别是/否 label_count = {}...

EM算法及其推广Likelihood & Maximum likelihood似然与概率在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依...