最优化基础 - （最优化问题分类、凸集）

系统学习最优化理论

什么是最优化问题？
决策问题：
（1）决策变量
（2）目标函数（一个或多个）
（3）一个可由可行策略组成的集合（等式约束或者不等式约束）
最优化问题基本形式

1 最优化问题分类

根据可行域S划分：无约束/约束优化

根据函数的性质划分：线性规划/非线性规划

根据可行域的性质划分：离散优化/连续优化

根据函数的向量性质划分：单目标/多目标优化

根据规划问题有关信息的确定性划分：随机/模糊/确定性规划

2 预备知识

• 凸优化理论：凸集、凸函数、凸优化问题
• 无约束优化问题的算法
• 约束优化的最优性条件及对偶理论
• 线性规划、二次规划算法
• 约束优化的罚函数方法

2.1 线性代数知识

最优化问题的表述和求解过程中矩阵是必不可少的
线性空间
通常考虑的线性空间是n维(列)向量空间$R^n$，记n维列向量为：
$$x=(x_1$$