凸集与凸函数

凸集

$D\subset R^n$，$\forall x,y\in D$，
$$\lambda x+(1-\lambda )y\in D,\forall 0\le \lambda \le 1$$
即连接任意$D$上两点的直线段上的所有点也在$D$内。

性质

两个凸集的交、和、差、线性组合也是凸集。

凸集的任意有限个点的图组合仍属于凸集。

定理

投影定理

$y\notin D$，存在唯一的点$\overline{x}\in D$，使得$y$与$\overline{x}$的连线是$y$到$D$的最短距离，即
$$||\overline{x}-y||=\underset{x\in D}{\inf }||x-y||$$
$D$内其他任意一点$x$到$y$的向量与$\overline{x}$到$y$的向量内积$>0$，即成锐角，
$$(x-\overline{x}{)}^T(\overline{x}-y)\le 0,\forall x\in D$$

点与凸集分离定理

$x\in D,y\notin D$，存在非零向量$a\in R^n$和实数$\beta$，
$$a^{T}x\le \beta <a^{T}y$$
将向量内积视为投影，约掉$|a|$，相当于比较$x,y$在$a$上投影的长度。

$\mathrm{F}\mathrm{a}\mathrm{r}\mathrm{k}\mathrm{a}\mathrm{s}$引理

$A_{m\times n},b\in R^m$，下列两组方程有且仅有一组有解：
$$\exists x\in {\mathbb{R}}^n,s.t.Ax=b,x\ge 0$$

$$\exists y\in R^m,s.t.A^{T}y\ge 0,b^{T}y<0$$

将$Ax=a_1{x}_1+a_2{x}_2+\cdots +a_n{x}_n(x_i\ge 0)$的所有取值情况想象成由$m$维列向量$a_1,a_2,\cdots ,a_n$张成的凸锥，上述两个方程描述的事实上是$m$维向量$b$在凸锥内或凸锥外的两种情况。

• 若$b$在凸锥内部，则必然可以由$a_1,a_2,\cdots ,a_n$线性表示，即存在一组$x_1,x_2,\cdots ,x_n$，使得$b=Ax=a_1{x}_1+a_2{x}_2+\cdots +a_n{x}_n(x_i\ge 0)$.
• 若$b$在凸锥外部，则必存在一个经过原点的超平面$h$分割了凸锥和$b$。取$h$引向凸锥一侧的法向量$y$，易得$a_i^{T}y\ge 0$，则$A^{T}y\ge 0$。由于$b$与$y$异侧，所以$b^{T}y<0$。

支撑超平面定理

$D$为非空集合，
Hx‾={x∈Rn∣aT(x‾−x)=0},x‾∈δD H_{\overline x}=\{x\in R^n|a^T(\overline x-x)=0\},\overline x\in \delta D Hx​={x∈Rn∣aT(x−x)=0},x∈δD
这里的支撑超平面也就是$D$的切平面。

非空凸集在其边界点处存在支撑超平面。对非空凸集$D$，存在非零向量$a\in R^n$，
$$a^{T}x\le a^T\overline{x},\forall x\in \overline{D}(D的闭包)$$

两个凸集的分离定理

$D_1,D_2$为非空凸集，$D_1\cap D_2=\varnothing$，存在超平面分离两个非空凸集，即存在非零向量$a\in R^n$，使得
$$a^{T}x\le a^{T}y,\forall x\in {\overline{D}}_1,\forall y\in {\overline{D}}_2$$
将$D_1-D_2$视作新的凸集，利用无交证明不包含零向量，应用支撑超平面定理易证。