在很多机器学习算法中,都会遇到最优化问题。因为我们机器学习算法,就是要在模型空间中找到这样一个模型,使得这个模型在一定范围内具有最优的性能表现。
很多最优化问题都是在目标函数是凸函数或者凹函数的基础上进行的。原因很简单,凸函数的局部极小值就是其全局最小值,凹函数的局部极大值就是其全局最大值。因此,只要我们依据一个策略,一步步地逼近这个极值,最终肯定能够到达全局最值附近。
- 凸函数与凹函数判断
- 指数函数是凸函数;
- 对数函数是凹函数,然后负对数函数就是凸函数;
- 对于一个凸函数进行仿射变换,可以理解为线性变换,结果还是凸函数;
- 二次函数是凸函数(二次项系数为正);
- 高斯分布函数是凹函数;
- 多个凸函数的线性加权,如果权值是大于等于零的,那么整个加权结果函数是凸函数。
- 最优化问题
- 线性规划
- 二次规划
- 二次约束的二次规划
- 半正定规划
- 优化手段
- 梯度上升(下降)法
- 牛顿法 / 拟牛顿法
- 坐标下降法