线性规划强对偶证明

线性规划弱对偶性

 给定矩阵$A\in {\mathbb{R}}^{m\times n}$，向量$x,c\in {\mathbb{R}}^n$，向量$b,y\in {\mathbb{R}}^m$，则有如下线性规划min⁡x{c⊤x∣Ax=b,x≥0}\min\limits_{x}\{c^{\top}x|Ax=b,x\ge 0\}xmin​{c⊤x∣Ax=b,x≥0}其中$x^{\ast }$为以上线性规划的最小值，其对偶形式表示为max⁡y{b⊤y∣A⊤y≤c}\max\limits_{y}\{b^{\top}y|A^{\top}y\le c\}ymax​{b⊤y∣A⊤y≤c}在等式两边$A{x}^{\ast }=b$同乘$y^{\top }$，则有如下不等式成立$$y^{\top }b=y^{\top }A{x}^{\ast }\le c^{\top }{x}^{\ast }$$进而则有max⁡y{b⊤y∣A⊤y≤c}≤min⁡x{c⊤x∣Ax=b,x≥0}\max\limits_{y}\{b^{\top}y|A^{\top}y \le c \}\le \min\limits_{x}\{c^{\top}x|Ax=b,x\ge 0\}ymax​{b⊤y∣A⊤y≤c}≤xmin​{c⊤x∣Ax=b,x≥0}这个就是线性规划的弱对偶形式，即线性规划问题原始形式的最小值是其对偶形式的上界。

$\mathrm{F}\mathrm{a}\mathrm{r}\mathrm{k}\mathrm{a}\mathrm{s}$引理

 在证明线性规划的强对偶性之前，需要用到$\mathrm{F}\mathrm{a}\mathrm{r}\mathrm{k}\mathrm{a}\mathrm{s}$引理

对于给定的矩阵$A\in {\mathbb{R}}^{m\times n}$和向量$b\in {\mathbb{R}}^m$，则如下两个命令对立成立

• 命题1： 存在$x\in {\mathbb{R}}^n$且$x\ge 0$， 使得$Ax=b$
• 命题2： 存在$y\in {\mathbb{R}}^m$使得$A^{\top }x\le 0$且$b^{\top }y>0$

以上两个命题同时有且只能有一个命题成立，即如果命题1成立，则命题2不能成立，反之。$\mathrm{F}\mathrm{a}\mathrm{r}\mathrm{k}\mathrm{a}\mathrm{s}$引理的几何解释是，先考虑一个向量集合{Ax∣x∈Rn,x≥0}\{Ax|x\in\mathbb{R}^n, x \ge 0\}{Ax∣x∈Rn,x≥0}将$A$看成$n$个$m$维列向量的组合$$A=(a_1,a_2,\cdots ,a_n)$$以上集合实际上就是所有$a_1,a_2\cdots ,a_n$的非负线性组合，其中以上集合的非负线性组合组成了一个锥体。给定一个$m$维的向量$b$，命题1说明向量$b$在矩阵$A$张成的锥体中（包括边界上），命题2说明向量$b$椎体外，如下图所示，

 对于命题1来说，如果向量$b$在锥体内，它可以表示为向量$a_1,a_2,\cdots ,a_n$的非负线性组合，存在非负系数$x_1,x_2,\cdots ,x_n$，则有$$b=x_1{a}_1+x_2{a}_2+\cdots +x_{n-1}{a}_{n-1}+x_n{a}_n$$即存在向量$x\ge 0$，使得等式$Ax=b$成立。
 对于命题2来说，如果向量$b$在锥体外，总可以找到一个向量$y$，它与锥体中的所有向量余弦值不大于0，即$$(a_1^{\top }y,a_2^{\top }y,\cdots ,a_n^{\top }y)\le 0⟹A^{\top }y\le 0$$并且与向量$b$的余弦值大于0，即$b^{\top }y>0$。

线性规划强对偶性

线性规划初始问题min⁡x{c⊤x∣Ax=b,x≥0}\min\limits_{x}\{c^{\top}x|Ax=b,x\ge 0\}xmin​{c⊤x∣Ax=b,x≥0}如果存在解$x^{\ast }$，其对偶形式max⁡y{b⊤y∣A⊤y≤c}\max\limits_{y}\{b^{\top}y|A^{\top}y\le c\}ymax​{b⊤y∣A⊤y≤c}也存在解$y^{\ast }$，且有$c^{\top }{x}^{\ast }=b^{\top }{y}^{\ast }$。

证明： 线性规划强对偶性可以利用$\mathrm{F}\mathrm{a}\mathrm{r}\mathrm{k}\mathrm{a}\mathrm{s}$引理进行证明。令$\min$的最小值在$x^{\ast }$处取到，即$z^{\ast }=c^{\top }x$，假定有如下向量$$\hat{A}=\left(\begin{array}{c}A\\ -c^{\top }\end{array}\right),{\hat{b}}_c=\left(\begin{array}{c}b\\ -z^{\ast }+\epsilon \end{array}\right),\hat{y}=\left(\begin{array}{c}y\\ \alpha \end{array}\right)$$其中$\epsilon >0$，对于任意$x\ge 0$，$\hat{A}x$都不可能等于${\hat{b}}_c$，因为$c^{\top }{x}^{\ast }=z^{\ast }$已经时最小值，所以$-z^{\ast }$是$-c^{\top }x$能达到的最大值，它不可能等于更大的$-z^{\ast }+\epsilon$。根据$\mathrm{F}\mathrm{a}\mathrm{r}\mathrm{k}\mathrm{a}\mathrm{s}$引理，因为不满足命题1，所以满足命题2，令向量$\hat{y}=\left(\begin{array}{c}y\\ \alpha \end{array}\right)$，使得${\hat{A}}^{\top }\hat{y}\le 0$且${\hat{b}}_{ϵ}^{\top }\hat{y}>0$，这等价于$$A^{\top }y\le \alpha c,b^{\top }y>\alpha (z^{\ast }-\epsilon )$$因为$${\hat{b}}_{\epsilon }^{\top }\hat{y}={\hat{b}}_0\hat{y}+\alpha \epsilon >0$$对于任意$x\ge 0$，$\hat{A}{x}^{\ast }={\hat{b}}_0$，此时以上条件满足命题1，所以就不会满足命题2，则意味着$\forall {\hat{A}}^{\top }\hat{y}\le 0$，都有${\hat{b}}_0^{\top }\hat{y}\le 0$，又因为${\hat{b}}_0^{\top }\hat{y}+\alpha \epsilon >0$，所以必有$\alpha >0$。综上所述则有$$A^{\top }(y/\alpha )\le c,b^{\top }(y/\alpha )\le z^{\ast }-c$$进而则有max⁡y{b⊤y∣A⊤y≤c}>z∗−ε\max\limits_{y}\{b^{\top}y|A^{\top}y \le c\}> z^{*}-\varepsilonymax​{b⊤y∣A⊤y≤c}>z∗−ε又由弱对偶性可知z∗≥max⁡y{b⊤y∣A⊤y≤c}z^{*}\ge \max\limits_y\{b^{\top}y|A^{\top}y\le c\}z∗≥ymax​{b⊤y∣A⊤y≤c}利用极限中的夹逼定理则有max⁡y{b⊤y∣A⊤y≤c}=z∗=min⁡x{c⊤x∣Ax=b,x≥0}\max\limits_y\{b^{\top}y|A^{\top}y\le c\}=z^{*}=\min\limits_{x}\{c^{\top}x|Ax=b,x\ge0\}ymax​{b⊤y∣A⊤y≤c}=z∗=xmin​{c⊤x∣Ax=b,x≥0}这便是线性规划的强对偶形式。