（最优化理论与方法）第二章最优化所需基础知识-第六节2：凸函数的定义和性质

一：凸函数定义

（1）凸函数的第一种定义

• 通用定义

凸函数：设$f:{\mathbb{R}}^n\to \mathbb{R}$为适当函数，如果$f$的定义域是凸集，且

$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$$

对所有$x,y\in f$的定义域，$0\le \theta \le 1$都成立，则称$f$是凸函数

• 若$f$是凸函数，则$-f$是凹函数

从几何上来看，上面的不等式意思就是下图中$(x,f(x))$和$(y,f(y))$之间的线段（也即弦），位于函数$f$的上方

（2）凸函数的第二种定义

凸函数：通俗讲就是先将其限制在任意直线上，然后判断对应的一维函数是否为凸，也即一个函数是凸函数当且仅当将函数限制在任意直线在蒂尼由于的部分上时仍是凸的。函数$f:{\mathbb{R}}^n\to \mathbb{R}$是凸的，并且当且仅当对每个$x\in domf,v\in {\mathbb{R}}^n$，函数$g:\mathbb{R}\to \mathbb{R}$是关于$t$的凸函数

g ( t ) = f ( x + t v ) ( { t ∣ x + t v ∈ d o m f } ) g(t)=f(x+tv)(\{t|x+tv \in domf\}) g(t)=f(x+tv)({t∣x+tv∈domf})

• $x+tv$：以$x$为起点，$v$为方向，$t$为时间所形成的点

例如，$f(X)=-logdetX$是凸函数，其中$domf=S_{++}^n$。任取$X\succ 0$以及方向$V\in S^n$，将$f$限制在直线$X+tV$上（$t$满足$X+tV\succ 0$），那么

$$g(t)=-logdet(X+tV)=-logdetX-logdet(I+t{X}^{-\frac{1}{2}}V{X}^{-\frac{1}{2}})$$

$$=-logdetX-\sum {i=1}^{n}log(1+t{\lambda }_i)$$

• ${\lambda }_i$是$X^{-\frac{1}{2}}V{X}^{-\frac{1}{2}}$第$i$特征值

对每个$X\succ 0$以及方向$V$，$g$关于$t$是凸的，因此$f$是凸的

（3）严格凸函数

严格凸函数：若对所有$x,y\in f$的定义域，$x\ne y,\theta <0<1$，有

$$f(\theta x+(1-\theta )y)<\theta f(x)+(1-\theta )f(y)$$

则称$f$是严格凸函数

二：凸函数例子

（1）一元凸函数的例子

凸函数

• 仿射函数：对任意$a,b\in \mathbb{R}$,$ax+b$是$\mathbb{R}$上的凸函数
• 指数函数：对任意$a\in \mathbb{R}$，$e^{ax}$是$\mathbb{R}$上的凸函数
• 幂函数：对$\alpha >1$或$\alpha <0$，$x^{\alpha }$是${\mathbb{R}}_{++}$上的凸函数
• 绝对值的幂：对$p\ge 1$,$|x{|}^p$是$\mathbb{R}$上的凸函数
• 负熵：$xlogx$是${\mathbb{R}}_{++}$上的凸函数

凹函数

• 仿射函数：对任意$a,b\in \mathbb{R}$,$ax+b$是$\mathbb{R}$上的凹函数
• 幂函数：对$0\le \alpha \le 1$，$x^{\alpha }$是${\mathbb{R}}_{++}$上的凹函数
• 对数函数：$logx$是${\mathbb{R}}_{++}$上的凹函数

（2）多元凸函数的例子

欧式空间${\mathbb{R}}^n$中的例子

• 仿射函数：$f(x)=a^{T}x+b$
• 范数：$||x|{|}_p=(\sum _{i=1}^n|x_i{|}^{\frac{1}{p}})(p\ge 1)$；特别地，有$||x|{|}_{\infty }=ma{x}_k|x_k|$

矩阵空间${\mathbb{R}}^{m\times n}$中的例子

• 仿射函数：$f(X)=tr(A^{T}X)+b=\sum _{i=1}^m\sum _{j=1}^n{A}_{ij}{X}_{ij}+b$
• 仿射函数：$f(X)=||X|{|}_2={\sigma }_{max}(X)=({\lambda }_{max}(X^{T}X){)}^{\frac{1}{2}}$

三：强凸函数

定义1：若存在常数$m>0$，使得

$$g(x)=f(x)-\frac{m}{2}||x|{|}^2$$

为凸函数，则称$f(x)$为强凸函数，其中$m$为强凸参数

定义2：若存在常数$m>0$，使得对任意$x,y\in domf$以及$\theta \in (0,1)$，有

$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)-\frac{m}{2}\theta (1-\theta )||x-y|{|}^2$$

则称$f(x)$为强凸函数，其中$m$为强凸参数

四：凸函数判定定理

（1）一阶条件

A：通用

一阶条件：对于定义在凸集上的可微函数$f$，$f$为凸函数当前仅当

$$f(y)\ge f(x)+\nabla f(x{)}^T(y-x)\forall x,y\in domf$$

从几何很容易看出，可微凸函数$f$的图形始终在其任一点处切线的上方。因此，用可微凸函数$f$在任意一点处的一阶近似可以得到$f$的一个全局下界

B：梯度单调性

• 另外一个常用的一阶条件是梯度单调性

梯度单调性：设$f$为可微函数，则$f$为凸函数当且仅当$domf$为凸集且$\nabla f$为单调映射，即

$$(\nabla f(x)-\nabla f(y){)}^T(x-y)\ge 0,x,y\in domf$$

（2）二阶条件

• 对于一元函数$f(x)$，可以通过其二阶导数的正负性来判断，如果函数的二阶导数总是非负，那么$f(x)$为凸函数
• 对于多元函数$f(X)$，可以通过其海瑟矩阵的正定性来判断，如果海瑟矩阵是半正定矩阵，则$f(X)$为凸函数

二阶条件：设$f$是定义在凸集上的二阶连续可微函数，$f$是凸函数当且仅当

$${\nabla }^{2}f(x)⪰0,\forall x\in domf$$

$f$是严格凸函数当且仅当

$${\nabla }^{2}f(x)>0,\forall x\in domf$$

例如，二次函数$f(x)=\frac{1}{2}{x}^{T}Px+q^{T}x+r$（其中$P\in S^n$），其梯度与海瑟矩阵分别为

• $\nabla f(x)=Px+q$
• ${\nabla }^{2}f(x)=P$

$f$为凸函数当且仅当$P⪰0$

再比如，最小二乘函数$f(x)=\frac{1}{2}||Ax-b|{|}_2^2$，其梯度与海瑟矩阵分别为

• $\nabla f(x)=A^T(Ax-b)$
• ${\nabla }^{2}f(x)=A^{T}A$

$A^{T}A$恒为半正定矩阵，因此，对任意的$A$，$f$都是凸函数

（3）上方图

函数$f(x)$为凸函数当且仅当其上方图$epif$为凸集