逻辑回归知识点

目录

作用

模型函数

逻辑回归的目标函数

优化过程：

作用

用来预测分类，与朴素贝叶斯分类不同，贝叶斯获得的是离散值，最后通过比较离散值界定分类，逻辑回归根据区间进行分类。

模型函数

• 
• 设
• 则：
• 当，,当,

逻辑回归的目标函数

• 训练 h(x) 的过程，就是求 θ 的过程。
• 当 y>0.5 时，z 被归类为真（True）或阳性（Positive），当 y<=0.5 时，z 被归类为假（False）或阴性（Negative）
•  LR也能处理多分类问题

因为

所以即是x属于阳性的概率。,

由二项分布式可得：

设训练集一共有 m 个数据，那么这 m 个数据的联合概率就是：

我们求取 θ 的结果，就是让这个 L(θ) 达到最大。即让阳性数据属于阳性的概率最大。

使用极大似然估计法：

转变为凸函数：

优化目标是最小化J(θ)，使用梯度下降法。

优化过程：

J(θ) 对 θ 求导：

因为：

运用链式法则，有：

将上式带入上面的 J(θ) 求导式子里，有：

当 x 为多维的时候（设 x 有 n 维），则在对 z=θx 求导的时候，要对 x的每一个维度求导。

又因为 θ和 x 维度相同，所以当 x 有 n 维的时候，θ 同样是有 n 维的。则 J(θ) 的求导也变成了对 θ 的每一个维度求导：

优化算法伪代码：

设: θ0,α

while (不收敛)
{
    θj:=θj+α∑mi=1(y(i)−hθ(x(i)))x(i)j
}