约束优化问题
全部笔记的汇总贴:最优化学习目录
约束优化问题
( P ) min f ( x ) (P) \min f(x) (P)minf(x) s . t . g i ( x ) ⩽ 0 , i = 1 , … m s.t. \text{ }g_{i}(x) \leqslant 0, i=1, \ldots \mathrm{m} s.t. gi(x)⩽0,i=1,…m h i ( x ) = 0 , i = 1 , … . p h_{i}(x)=0, i=1, \ldots . p hi(x)=0,i=1,….p
非光滑无约束优化问题有时可重构成光滑的约束问题
约束优化最优解的特征
min f ( x ) , x ∈ R 2 \min f(x),x\in R^{2} minf(x),x∈R2 s . t . g 1 ( x ) ⩽ 0 s.t. \text{ } g_{1}(x)\leqslant 0 s.t. g1(x)⩽0 g 2 ( x ) ⩽ 0 g_{2}(x)\leqslant 0 g2(x)⩽0 g 3 ( x ) ⩽ 0 g_{3}(x)\leqslant 0 g3(x)⩽0
已知
x
∗
x^{*}
x∗是局部最优解
实际起作用的约束函数
g
1
(
x
)
,
g
2
(
x
)
g_{1}(x),g_{2}(x)
g1(x),g2(x)
g
1
(
x
∗
)
=
g
2
(
x
∗
)
=
0
g_{1}\left(x^{*}\right)=g_{2}\left(x^{*}\right)=0
g1(x∗)=g2(x∗)=0
不起作用的约束函数
g
3
(
x
)
g_{3}(x)
g3(x)
g
3
(
x
)
<
0
g_{3}(x) < 0
g3(x)<0
我们观察
x
∗
x^{*}
x∗有以下特点
{
−
∇
f
(
x
∗
)
=
λ
1
∇
g
1
(
x
∗
)
+
λ
2
∇
g
2
(
x
∗
)
λ
1
,
λ
2
⩾
0
\left\{\begin{array}{l}-\nabla f\left(x^{*}\right)=\lambda_{1} \nabla g_{1}\left(x^{*}\right)+\lambda_{2} \nabla g_{2}\left(x^{*}\right) \\ \lambda_{1}, \lambda_{2} \geqslant 0\end{array}\right.
{−∇f(x∗)=λ1∇g1(x∗)+λ2∇g2(x∗)λ1,λ2⩾0
接下来会介绍最优解的一阶必要条件 KKT条件