机器学习 ：逻辑回归 2.19

题目 1.客户对于银行而言是重要的资产，对银行的收益以及市场占有率起着决定性作用。但是银行每年都要面对严重的客户流失问题，相较留住一个客户，获取一个新客户所需的成本往往是其数倍。因此分析出一个客户是否可能是潜在的易流失客户对于银行而言具有极大价值。通过研究客户的历史行为来捕捉流失客户的特点，分析客户流失原因，从而可以在客户真正流失之前做出相应的营销干预，对客户进行挽留。请根据国外某银行的匿名化数据，进行客户流失分析，具体的训练集和测试数据集请见Bank-Train.csv和Bank-Test.csv。 建一

0.概述 --- **线性回归**不仅可以做**回归**问题的处理，也可以通过与**阈值**的比较转化为**分类**的处理，但是其**假设函数**的输出范围没有限制，这样很大的输出被分类为1，较少的数也被分为1，这样就很奇怪。而**逻辑回归**的**假设函数**的输出范围是0~1。 当数据集中含有误差点时，使用**线性回归**相应的误差也会很大。

继续学习机器学习，之前学习了分类，分类的目标变量是标称型数据，而本次将会对连续型的数据做出预测。也许有人问：“回归能用来做些什么呢？”。书中作者的观点是，回归可以做任何事情。 本次首先介绍线性回归，包括其名称的由来和Python实现。在这之后引入了局部平滑技术， 分析如何更好地拟合数据。接下来，本章将探讨回归在“欠拟合”情况下的缩减（shrinkage） 技术，探讨偏差和方差的概念。最后，我们将融合所有技术，预测鲍鱼的年龄和玩具的售价。

1.ICA概念2.ICA不处理服从高斯分布的样本集3.概率密度函数4.复合函数的概率密度函数5.累积分布函数/分布函数6.联合分布7.行列式8.代数余子式(end)

包含了监督学习中回归与分类的算法实现，并阐述了模型过拟合的问题。

逻辑回归是一种广义的线性回归分析模型，主要用于数据挖掘、疾病自动诊断、经济预测等领域。它是一种监督学习下的机器学习算法，特别适用于解决二分类问题，尽管它也可以用于多分类问题。逻辑回归的核心在于使用Sigmoid函数将线性回归的结果映射到(0,1)的范围内，从而表示属于某一类别的概率。具体来说，如果Sigmoid函数的输出值大于0.5，则分类为1（或某一类别），否则分类为0（或另一类别）。

1）有监督学习示例、无监督学习示例、线性回归模型、代价函数、梯度下降法 2）多元线性规划、特征缩放、学习曲线、设置学习率、特征工程 3）逻辑回归(分类问题)、决策边界、过拟合、正则化

Kaggle泰坦尼克之灾：逻辑回归模型实现笔记（一）1、引言kaggle泰坦尼克之灾的介绍2、笔记用到的函数第一步：了解数据第二步：分析数据之间的关系第三步：补全缺失值第四步：特征因子化第五步：处理浮动较大的数值第六步：筛选数据第七步:数据建模第八步：测试集预处理第九步：结果预测3、总结 1、引言 这是第一次写博客，作为一个刚刚上路的小白，要学的东西很多。本来很多笔记都是以文本的形式储存在本地的，...

Lgistic回归也叫逻辑回归，是广义线性回归的一种，通常用于解决二分类问题。表达式如下：经过logit变换，则可以写成广义线性表达式通常做回归是用其广义线性表达式，且logistic回归的结果概率表现为S型曲线，一般以小于0.5的样本都分类为0，大于0.5的样本都分类为1。logistic回归是简单的二分类算法之一，但是其应用非常广，支持向量机（SVM）中也有其相关运用。

上次做了NLP实战之利用贝叶斯模型进行THUCNews的文本分类，这次我们用LogisticRegression再试一试~数据依旧是采用的THUCNews数据集的子集，这个可以去上一个文章中找或者去文章后，我会放出我的程序和数据集。 数据集介绍 THUCNews新闻文本分类数据集，是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档（2.19 GB），均为UTF-8纯文本格式。完整数据自行去下哦 (地址：http://thuctc.thunlp.org/）我们采用其

模型的一些通用方法： lg = LinearRegression() lg.fit(X,y) lg.coef_ lg.intercept_ lg.predict(X_new) get_params([deep])：返回模型的参数。 deep： 如果为True，则可以返回模型参数的子对象。 set_params(**params)：设置模型的参数。 params：待设置的关键字参数。 ...

建模分析的步骤 1 确定需求，提取数据 2 数据预处理（异常值，缺失值） 3 特征选择 4 对离散数据编码(哑变量，虚拟变量） 3 拆分训练集，测试集 4 选择并训练模型(多个备选模型) 5 模型评估 6 保存模型 7 投入生产 数据预处理 1 异常值 离散型(定性): value_counts(),unique() 方法： 改为缺失 连续型(定量): 箱型图原则(1.5IQR),3西格玛（3倍标准差） 方法：改为缺失，盖帽法 2 缺失值 1. 小于15%可以补充 2. 15% `5

1 定义，二阶导确定二阶函数 保凸 2 逐个点最大值保凸 证明 3 凸优化 复杂矩阵，鞍点好多 方法：多次初始化随机点 4过拟合（面试问题） 原因：训练和测试不是同一个分布 怎么解决：？ 认识:吴恩达 中间最好 代码演示 6预处理 1,1空 1.2 6： 代码 01：学习曲线 02 结果展...

上面代表单条特征，下面代表多条特征的损失函数 2.误差度量： 准确率：=TP+Tn/（TP+FP+FN+TN） 查准率/精确率=TP/(TP+FP) 举例：抓小偷，务必提高精确率，预测准确，让好人少进来 查全率/召回率=TP/(TP+FN)举例：FN是假阴性：新冠病人用的这个 灵敏度 TPR roc 曲线 X:fpr Y:TPR 围成面积：auc 1.导包2. 拟合数据3....

1决策树基于信息增益，信息熵 3 个算法 id3算法缺点： c4.5 / cart

基尼系数代表不确定性，不确定越多，基尼系数越大 rf gbd svn bagging boosting xgboost 由内往外代入公式 连续型数据的拟合回归树 集成学习 bagging原理 多个策略不同的弱学习器 结果展现出答案为得到的最多值 rf优点 ...

01.贝叶斯：p(b|a)=p(a|b)*p(b)/p(a) 02.β分布 1）贝塔分布的期望值需要记住 μ=E(x)=α/(α+β） ，理解为概率的分布 2）贝塔分布定义域为（0，1） 图像关于期望对称， 当击球次数增加，期望不断更新，对称轴移动 81+100 是α 219+200就是β 使用β能让我们的概率更准确，因为有先验基础 一个有趣的问题 ...