凸优化笔记(1) —— 基本概念

本科没学过凸优化，想趁着还不是太忙，恶补下数学知识，终究是绕不过去的山。应该会不定时的更新凸优化、矩阵论的相关笔记吧，PRML、计算机视觉、概率图模型希望以后也能写一写笔记。

推荐的书籍：
英文版《Convex Optimization》
中文版(译本)《凸优化》(清华出版社)

推荐视频：
前中科大 凌青老师 (现在好像去了中山大学了)
视频在线地址：b站
网盘下载地址：http://pan.baidu.com/s/1slmHdTz 密码：9h61 (感谢，大智能时代’s Archiver上的分享)

纸质版书的话，英文版有点贵，中文版还好。PDF的话，上面我都给了链接了，英文版是作者的主页，可以免费下载最新版的PDF，中文版好像不是太新。视频的话，在线可以去b站上，下载的话也有网盘地址。不得不说b站真是个神奇的网站，很多斯坦福公开课我也是在上面看的，但是好像现在CS231N找不到。咳咳，扯远了~

另外，为了节省写博客的时间，书上的概念、公式会以截图的形式贴到博客上，重点在于自己的理解，和重点知识的归纳。书归正传，开始基本概念的笔记吧。

1. 数学优化

优化，即在可行解的范围内，找出最优解。用数学的形式可表达如下：
$$\begin{gathered} minimize{f}_0\left(x\right) \\ subjectto{f}_i\left(x\right)\le b_i,i=1,\cdots ,m \end{gathered}$$

，其中，向量x是问题的优化变量，$f_0$是目标函数，$f_i$是约束函数。关于这个公式具体的定义如书上所言：

同样，也给出了最优解的概念。另外，目标函数和约束函数并不一定是单一的，都是可以存在多个的。

其实，对于数学优化问题，具体来点讲，比如在用做物理实验或者各种实验获得的数据，来拟合这些数据所表征的函数。假设，这些数据表征的是一个二次函数，即$y=a{x}^2+bx+c$，在计算机上去拟合只能是去，先有个a、b、c的初始值，带入上述这个形式中，看与真实值的误差多大，然后向着是误差减小的地方来更新a、b、c的值，(有点类似于反向传播)。在这其中，误差就是目标函数，而限制条件，可能就是这些数据都是非负的，等等。优化问题的求解就是在一定的精度内，满足此一实例。就如上面这个问题，当误差在某一阈值之内的时候，求解就算完毕。

希尔伯特说过，问题可被描绘出来，就解决的了80%。而如果优化问题，能被描述出来还能被转换成凸优化问题，那么问题就解决了90%(凌青老师的话)

优化的分类

分类大概为：凸优化与非凸优化，线性优化与非线性优化，（针对目标函数）光滑与非光滑，