最优化方法笔记（凸优化）

目录

一、数学预备知识

1、标量场

2、多元函数下的方向性导数、梯度及二者关系

方向导数：

 梯度：

 二者关系：

3、Hesse矩阵

 4、范数

5、其他

 二、凸集

1、定义（重要，ax+(1-a)y属于D）

2、凸组合

3、常见的凸集

4、保凸计算（证明）

5、仿射变换

6、投影定理

三、凸函数

1、定义

2、凹函数定义

3、常见凸函数

4、凸函数性质

三个等价条件：

四、凸规划

1、定义

2、性质

3、判断凸规划条件

4、定理

---

 

一、数学预备知识

1、标量场

定义：空间某一区域内存在一标量函数 u ，它的值随空间的位置而定，同时还可能是时间的函数： u = u ( x , y , z , t )。例如：温度场

2、多元函数下的方向性导数、梯度及二者关系

方向导数：

标量场在某点的方向导数表示标量场在该点沿某一方向对距离的变化率。

 梯度：

 二者关系：

梯度是函数在某点增加最快的方向，梯度的模为方向导数的最大值。方向导数是梯度在某一方向上的投影。

3、Hesse矩阵

 4、范数

5、其他

 二、凸集

0、标量函数f(x)是凸的，可行集S是凸，最优化问题就会有很好的性质，找到的任意一个平稳解就是最优解，最优解还是全局解。就可以利用内点法等算法来求解。

1、定义（重要，ax+(1-a)y属于D）

2、凸组合

3、常见的凸集

1）、

其中b=a’*xo

2）、

3）、

4）、

5）、

6）、

例：

4、保凸计算（证明）

5、仿射变换

6、投影定理

 

三、凸函数

1、定义

2、凹函数定义

3、常见凸函数

4、凸函数性质

1）、

2）、

三个等价条件：

1）、

2）、

3）、

注意：

四、凸规划

1、定义

2、性质

3、判断凸规划条件

4、定理

例题