python学智能算法（三十一）|SVM-Slater条件理解

【1】引言

前序学习进程中，对KKT条件进行了翻来覆去担仍然不够深入的理解，文章链接包括且不限于：KKT条件引入、KKT条件理解、KKT条件数学表达溯源等。
实际上，为保障KKT条件的应用是准确的，还需要问题满足Slater条件。
Slater条件是凸优化问题中，判断KKT条件是否为最优解的充要条件，它主要用于保证凸优化问题的强对偶性成立。

【2】对偶函数

既然上述提及了强对偶性成立，也就是可能涉及对偶函数和对偶问题，这就先来学习相关概念。
对偶函数的目的是找出原目标函数在可行域上的“下界函数”。

【2.1】原问题的标准形式

这批给出原问题的标准形式，适用于一般约束的优化问题。
最小化目标函数：${\min }_{x}f(x)$
约束条件：
不等式约束：$g_i(x)\le 0(i=1,2,...,m)$
等式约束：$h_j(x)=0(j=1,1,...,p)$
定义域：$x\in R^n$

构造对偶函数，实际上也是构造拉格朗日函数，通过引入拉格朗日乘子，将约束代入目标函数，再在定义域上取最小值。
如果不了解如何构造拉格朗日函数，可以通过拉格朗日乘数法理解和拉格朗日函数构造两篇文章学习。

【2.2】构造拉格朗日函数

如何构造拉格朗日函数，将两种约束代入目标函数，有两个步骤：
对不等式约束$g_i(x)\le 0$引入对偶变量${\lambda }_i\ge 0$，这里也要求了非负性，非负性的构成不会改变$g_i$在函数中的方向；
对等式约束$h_j(x)=0$引入对偶变量${\mu }_j({\mu }_j\in R)$，此处的${\mu }_j$没有任何符号限制。
需要强调的是，取值范围上，${\mu }_j\in R$而不是${\mu }_j\in R^n$。
$R^n$原问题的定义域，而${\mu }_j$是$h_j$的乘数因子，${\mu }_j$是量化等式约束条件对于原问题最优解的“影响程度”。原问题有m个等式约束，就会有m个$\mu$来担任影响因子，每个$\mu$都是标量，它们在实数域$R$上取值已经完全足够。
所以从本质上来说，$x$和$\mu$是完全不同的定义域，所以它们没有必要取值范围统一。

下一步是构造拉格朗日函数：

$$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{g}_i(x)+\sum _{j=1}^p{\mu }_j{h}_j$$
对偶函数$d(\lambda ,\mu )$定义为拉格朗日函数对原变量x的下确界：
$$d(\lambda ,\mu )=in{f}_{x\in R}L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{g}_i(x)+\sum _{j=1}^p{\mu }_j{h}_j(x)$$

这里的下确界有两种解释：
第一种，拉格朗日函数$L(x,\lambda ,\mu )$可以取到最小值，这个最小值就是下确界；
第二种，拉格朗日函数$L(x,\lambda ,\mu )$不可以取到最小值，但有一个无线逼近的界限，类似负指数函数$e^{-x}$，随着$x$的逐渐增加，函数无限接近于0而不等于0，0就是负指数函数的下确界。
对偶函数的核心性质：找出原问题最优解的下确界。
假设原问题的最优值为$p\ast =minf(x)|g_i(x)\le 0,h_j(x)=0$，则对任意可行的对偶变量$\lambda >0$和$\mu \in R$均满足：$$d(\lambda ,\mu )\le p^{\ast }$$
这个理解起来也非常直观，因为$d(\lambda ,\mu )$是拉格朗日函数的最小值，显然任何实际的取值会比这个最小值要大。但这个解释依然粗糙，详细说明为：

• 因为$h_j=0$，所以必定会有${\mu }_j{h}_j=0$；
• 因为$g_i(x)\le 0(i=1,2,...,m)$和${\lambda }_i\ge 0$，所以${\sum }_{i=1}^m{\lambda }_i{g}_i(x)\le 0$；
• 所以代回拉格朗日函数有：
  $L(x,\lambda ,\mu )=f(x)+{\sum }_{i=1}^m{\lambda }_i{g}_i(x)+{\sum }_{j=1}^p{\mu }_j{h}_j=f(x)+{\sum }_{i=1}^m{\lambda }_i{g}_i(x)\le f(x)$；

$p^{\ast }$是$f(x)$的一个最佳取值，$d(\lambda ,\mu )$是拉格朗日函数的下确界，所以一定会满足：
$$d(\lambda ,\mu )\le p^{\ast }$$

【3】对偶问题

对偶问题是在对偶变量的可行域上$(\lambda \ge 0,\mu \in R)$最大化对偶函数。
为何要找这个最大的对偶函数，因为$d(\lambda ,\mu )$的实际取值上会随$\lambda ,\mu$的变化而变化，所以对偶问题就是最大化对偶函数问题：
$$ma{x}_{\lambda ,\mu }d(\lambda ,\mu )$$
由于$\mu$没有取值限制，所以对偶问题唯一的约束是：$${\lambda }_i\ge 0(i=1,2,...,m)$$
可以将对偶问题的最优值记为 d ∗ = max ⁡ { d ( λ , μ ) ∣ λ ≥ 0 } d^*=\max \{{d(\lambda,\mu)|\lambda \geq0}\} d∗=max{d(λ,μ)∣λ≥0}

【3.1】强对偶性与弱对偶性

由于对偶函数依然是在拉格朗日函数的下确界中进行取值，所以依然满足：
$$d^{\ast }\le p^{\ast }$$
对偶问题的最优值始终小于原问题的最优值。
定义对偶间隙为：
$$p^{\ast }-d^{\ast }$$
当$p^{\ast }-d^{\ast }>0$，对偶间隙大于0，称为弱对偶性；
当$p^{\ast }-d^{\ast }=0$， 对偶间隙等于0，称为强对偶性。此时对偶问题的最优值等于原问题的最优值，求解对偶问题即可等价获得原问题的最优解。
强对偶并非总能成立，但在凸优化问题中，若满足Slater条件，则强对偶性一定成立。
对偶问题是在对偶可行域上最大化对偶函数，目的是找到最紧的下界。

【4】仿射函数

【4.1】仿射函数定义

未进行Slater条件的解读，好需要补充一个仿射函数的小知识。
仿射函数是指具有以下形式的函数：
定义域为$R^n$（n维实数空间）、值域为$R^m$（m维实数空间）的函数可以记为：$$R^n\to R^m$$
如果存在一个线性变换（矩阵）$A\in R^{m\times n}$和一个常数$b\in R^m$，使得对任意的$x\in R^n$，都满足：$$f(x)=Ax+b$$
则称$f(x)$维仿射函数。
仿射函数式线性函数+常数项的组合，仿射函数对应的图像可以理解为是线性空间平移后的表现，比如：
$f(x)=ax+b$是一条直线，当$b=0$直线过原点，否则就是过原点直线的平移；
$f(x_1,x_2)=a_1{x}_1+a_2{x}_2+b$是三维空间中的一个面，当$b=0$平面过原点，否则就是过原点平面的平移；线动成面，无数的线组成了面，可以将一个维度理解为一个线性子空间，面就是两个线性子空间的组合；
进入更高维度，仿射函数对应的图像就是线性子空间平移后的综合表现。

【4.2】仿射函数凹凸性

最易于理解的仿射函数就是$f(x)=ax+b$，这是一条直线。
那推广到任意仿射函数，会发现所有仿射函数既满足凸函数的定义，又满足非凸函数的定义。
这里回顾一下凸函数的定义：
首先定义域是凸集，也就是定义域内任意两点的连线一定还在定义域上；
然后还需满足：
$$f(\lambda x+(1-\lambda )y)\le \lambda f(x)+(1-\lambda )f(y)(0\le \lambda \le 1)$$
非凸函数的定义：
$$f(\lambda x+(1-\lambda )y)\ge \lambda f(x)+(1-\lambda )f(y)(0\le \lambda \le 1)$$
凸函数和非凸函数有一个共同的交集是等号，刚好仿射函数全部都是等号，所以可以认为仿射函数既是凸函数又是非凸函数。
仿射函数的梯度和导数实常数，不会随着$x$变化。

【5】Slater条件

对于凸优化问题，如果Slater条件满足，则原问题与对偶问题的最优值相等，也就是强对偶性成立。

【5.1】凸优化问题定义

先考虑标准形式的凸优化问题：
最小化目标函数：${\min }_{x}f(x)$
约束条件：
不等式约束：$g_i(x)\le 0(i=1,2,...,m)$
等式约束：$h_j(x)=0(j=1,2,...,p)$
定义域：$x\in R^n$
这里会有新要求：
$f(x)$和$g_i(x)$是凸函数；
$h_j(x)$是仿射函数。

【5.2】Slater条件

Slater条件：存在一个严格可行点$x\in dom(f)$，使得：
$$g_i(x)<0(i=1,2,...,m)$$和$h_j=0(j=1,1,...,p)$
dom(f)是domain of f的英文缩写，也就是要求这个严格可行点$x$必须落在目标函数$f$的定义域里，这样计算才是有效的。

【5.3】证明Slater条件保证强对偶性

记原问题的可行域为 X = { x ∣ g i ( x ) ≤ 0 ( i = 1 , 2 , . . . , m ) , h j = 0 ( j = 1 , 2 , . . . , p ) } X={\{x|g_{i}(x)\leq 0(i=1,2,...,m),h_{j}=0}(j=1,2,...,p)\} X={x∣gi​(x)≤0(i=1,2,...,m),hj​=0(j=1,2,...,p)}
原问题最优解为$p^{\ast }=in{f}_{x\in X}f(x)$
对偶问题最优解$d^{\ast }=su{p}_{\lambda \ge 0,\mu }d(\lambda ,\mu )$，且满足对偶间隙$d^{\ast }\le p^{\ast }$
证明目的：Slater条件成立，$d^{\ast }=p^{\ast }$

【5.3.1】反证法假设存在对偶间隙

假设$d^{\ast }<p^{\ast }$，现在的目标是推出矛盾：

定义集合：
A = { f ( x ) , g 1 ( x ) , . . . , g m ( x ) , h 1 ( x ) , . . . , h p ( x ) ∣ x ∈ d o m ( f ) } A={\{f(x),g_{1}(x),...,g_{m}(x),h_{1}(x),...,h_{p}(x)}|x \in dom(f)\} A={f(x),g1​(x),...,gm​(x),h1​(x),...,hp​(x)∣x∈dom(f)}
$$B=\{(t,s_1,...s_m,r_1,...,r_p)|t<p^{\ast },s_i\le 0,r_j=0\}$$
A是原问题目标函数与约束函数在定义域上的取值集合；
B是“目标值小于 $p^{\ast }$ 且约束满足” 的集合
$t$对应原问题目标函数$f(x)$的取值，要求$t<p^{\ast }$（$p^{\ast }$是原问题的最优值），所以$t$是比原问题最优目标值更小的目标函数值；
$s_i$对应原问题不等式约束$g_i(x)$的取值，要求$s_i\le 0$和原问题里的不等式约束$g_i(x)\le 0$相对应，代表“满足不等式约束的函数值”；
$r_j$对应原问题等式约束$h_j(x)$的取值，要求$r_j=0$和原问题里的等式约束$g_i(x)=0$相对应，代表“满足等式约束的函数值”。
集合B是在“目标函数值-约束函数值”这个空间里，刻画比原问题最优情况更优（但实际上达不到的）虚拟集合：
$t<p^{\ast }$就假设存在比最优还小的目标值；
$s_i\le 0,r_j=0$继续维持了原问题的约束要求。
很显然，这两个集合必然满足：$$A\cap B=\varnothing$$

此时存在非零向量$(\mu ,v_1,...,v_m,w_1,...,w_p)$和常数$c$，使得对所有的$\alpha \in A$和$b\in B$，满足：
$$u\cdot {\alpha }_1+\sum v_i{\alpha }_{i+1}+\sum w_j{\alpha }_{m+j+1}\ge c\ge u\cdot b_1+\sum v_i{b}_{i+1}+\sum w_j{b}_{m+j+1}$$
这个公式其实无需证明，因为$B$集合和值小于$A$集合的值，所以上述式子成立也在情理之中，但它确实有一个名字：凸集分离定理。

【5.3.1.1】证明$u>0$

定义集合：
通过分析$B$集合中元素的极限：$$t\to -\infty ,s_i\to -\infty$$
可以推出：
$u\ge 0$，否则不等式无法对$b\in B$成立
如$u=0$，则$v_i\ge 0$且不全为零，为证明这一点，我们把前面的凸集分离定理换一个更好读懂的写法：
$$u\cdot f+\sum _i^m{v}_i\cdot g_i+\sum _{j=1}^p{w}_j\cdot h_j\ge u\cdot t+\sum _{i=1}^m{v}_i\cdot s_i+\sum _{j=1}^p{w}_j\cdot r_j$$
然后此时只讨论适用于集合$B$的右侧部分：
$$u\cdot t+\sum _{i=1}^m{v}_i\cdot s_i+\sum _{j=1}^p{w}_j\cdot r_j\le c$$
当$u=0$的时候，如果出现$v_i<0$，由于此时已经假设了$s_i\to -\infty$，所以就会有$v_i{s}_i\to +\infty$的情况，这会破坏上式的成立，所以$v_i$必然非负。
此外$v_i$不能全0，之后再详细分析。
此时对于集合$A$，会有：$$u\cdot f+\sum _i^m{v}_i\cdot g_i+\sum _{j=1}^p{w}_j\cdot h_j=\sum _i^m{v}_i\cdot g_i+\sum _{j=1}^p{w}_j\cdot h_j\ge c$$因为$h_j=0$恒成立，所以上式进一步化简为$$\sum _{j=1}^m{v}_i\cdot g_i\ge c$$
因为$g_i<0,v_i\ge 0$，所以$v_i\cdot g_i\le 0$，所以此时$c\le 0$。
此时对于$v_i\cdot s_i\le c$，因为$s_i\le 0,v_i\ge 0$,所以要求$c\ge 0$，此时只有$c=0$满足条件。
但实际上一定存在KaTeX parse error: Undefined control sequence: \< at position 11: v_{i}g_{i}\̲<̲0的情况，所以$c=0$不能满足$\sum v_i\cdot g_i<0\ge c=0$
所以到这一步，$u=0$不可取，那就只有$u>0$。

【5.3.1.2】证明$d^{\ast }=p^{\ast }$

面对$u>0$这一条件，可以通过等比例缩放所有系数使得$u=1$.
此时对集合$A$有：
$$f(x)+\sum _{i=1}^m{v}_i\cdot g_i+\sum _{j=1}^p{w}_j\cdot h_j\ge c$$
对集合$B$有：
$$t+\sum _{i=1}^m{v}_i\cdot s_i+\sum _{j=1}^p{w}_j\cdot r_j\le c$$
因为在$B$中，要求$t<p^{\ast }$（$p^{\ast }$是原问题的最优值），也就是$t$是比原问题最优目标值更小的目标函数值；
这时候进一步设置$s_i=0$，因为$s_i\ge 0$，所以直接取$s_i=0$不影响结果，会对集合B有：
$$t\le c$$
当$t$无限接近$p^{\ast }$时，上式转化为$p^{\ast }\le c$

此时的对偶函数可以定义为：
$$d(\lambda ,\mu )=in{f}_{x\in dom(f)}[f(x)+\sum _{i=1}^m{\lambda }_i{g}_i+\sum _{j=1}^p{\mu }_j{h}_j]$$

将对偶函数的系数代入集合A，有：
$$f(x)+\sum _{i=1}^m{\lambda }_i\cdot g_i+\sum _{j=1}^p{\mu }_j\cdot h_j\ge c$$
由于对偶函数取的是下确界，所以有$$d(\lambda ,\mu )\ge c$$
那所有函数的实际取值都不会小于下确界，所以有$$c\ge p^{\ast }\ge d^{\ast }\ge c$$所以只能取值$$p^{\ast }=d^{\ast }$$
所以强对偶成立。

【6】总结

学习了拉格朗日函数、对偶函数、对偶问题、仿射函数、slater条件和它们之间的关联关系。