本文介绍了机器学习中的优化问题，包括有监督学习的损失函数，如0-1损失、Hinge、Logistic、交叉熵等，以及它们的特点。此外，讨论了机器学习优化的凸性和非凸性，如逻辑回归的凸优化和主成分分析的非凸优化。无约束优化方法包括梯度下降法、牛顿法等。还涉及梯度验证技巧，确保损失函数的梯度计算正确。最后，探讨了L1正则化与稀疏性，L1正则化如何通过产生稀疏权重矩阵促进特征选择。
百面机器学习笔记——第七章 优化算法
补充知识
- 机器学习算法=模型表征+模型评估+模型算法
- 不同的算法有着各自的表征和评估，而优化算法的任务就是在表征空间内找到评估指标最优的模型。
- 如今算法面对的问题大多是非凸的，关于凸/非凸的描述
01 有监督学习的损失函数
Q1: 列举有监督学习的损失函数及其特点
A1:
对于分类问题： 0-1损失、Hinge、Logistic、交叉熵
1）0-1损失： L 0 − 1 ( f , y ) = 1 f y < 0 L_{0-1}(f,y)=1_{fy<0} L0−1(f,y)=1fy<0 非凸、非光滑，难以直接优化
2）Hinge： L h i n g e ( f , y ) = m a x ( 0 , 1 − f y ) L_{hinge}(f,y)=max(0, 1-fy) Lhinge(f,y)=max(0,1−fy)，0-1损失的凸上界，但是在fy=1处不可导，不能用梯度下降法进行优化
3）Logistic： L l o g i s t i c ( f , y ) = l o g 2 ( 1 + e x p ( − f y ) ) L_{logistic}(f,y)=log_2(1+exp(-fy)) Llogistic(f,y)=log2(1+exp(−fy))，处处光滑，可以梯度下降法优化，但是对所有样本点都有惩罚，因此对异常值相对更敏感
4）CE： L c r o s s − e n t r o p y ( f , y ) = − l o g 2 ( 1 + f y 2 ) L_{cross -entropy}(f,y)=-log_2(\frac{1+fy}{2}) Lcross−entropy(f,y)=−log2(21+fy)，也是0-1损失的光滑凸上界。
对于回归问题： 平方损失
1）平方损失： L s q u a r e ( f , y
最低0.47元/天 解锁文章
扫一扫
2153
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
