【机器学习】对数几率回归

^Mark_Zhang^

已于 2024-10-21 20:40:42 修改

阅读量925

点赞数 26

CC 4.0 BY-SA版权

分类专栏：数据分析文章标签：机器学习回归人工智能

于 2024-01-23 23:56:24 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_73074012/article/details/135775167

本文探讨了在在线性模型中加入激活函数的应用，涉及信息论的基本概念如自信息、信息熵和相对熵（KL散度），并介绍了如何通过极大似然估计和优化方法（如梯度下降和牛顿法）调整模型。重点讲解了交叉熵在机器学习中的角色，以及线性模型与sigmoid函数在输出规范化中的作用。

算法原理

在线性模型的基础上增加一个激活函数用于映射。
在这里插入图片描述

知识预备

信息论

用概率论和随机过程为基本研究工具，研究广义通信系统的整个过程。常见的有无损压缩、有数据压缩等。

自信息： $I(X)=-\log_bp(x)$ 在概率是0.5的时候最没法确认到底数值是多少
信息熵（自信息的期望）：信息熵越大越不确定，用数学的方式量化不确定性。
相对熵（KL散度）：度量两个分布的差异以及典型场景用来度量理想分布 $p (x)$ （最想求解的分布）和模拟分布 $q (x)$ 之间的差异。计算公式如下：

$DKL(p∣∣q)=∑xp(x)log⁡b(p(x)q(x))=∑xp(x)(log⁡bp(x)−log⁡bq(x))=∑xp(x)log⁡bp(x)−∑xp(x)log⁡bq(x)\begin{aligned}D_{KL}(p||q)&=\sum_xp(x)\log_b(\frac{p(x)}{q(x)})\\&=\sum_xp(x)\left(\log_bp(x)-\log_bq(x)\right)\\&=\sum_xp(x)\log_bp(x)-\sum_xp(x)\log_bq(x)\end{aligned}$

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。