Preliminaries
0 前言
最优解x∗x^{*}x∗在满足约束的所有向量中具有最小值。
两个基本的假设:
(1)目标函数有下界
目标函数不能存在负无穷的值,这样会使得最小值无法在计算机中用浮点数表示,最小值可以很小但必须有界
(2)目标函数具有有界子区间映射
sub-level sets就是下水平集,此时要求目标函数不能存在当x趋于无穷时函数趋于某个值即下水平集无界,这同样会导致最小值无法用浮点数表示
f,g,hf,g,hf,g,h都是连续的(连续优化)
在slam、轨迹规划、点云配准、TOPP问题上都有数值优化的应用
本章大纲(非凸问题)
数值优化基础
(1)数值优化与机器人
(2)非凸优化中的凸性
(3)凸集和凸函数
(4)无约束非凸优化
(5)线搜索最大梯度下降
(6)改进的阻尼牛顿法
1 非凸优化中的凸性
① 凸集上凸函数的优化已经得到了很好的研究
② 优化算法利用凸函数集的性质来分析收敛性
③ 一些重要的问题有凸公式 / 松弛
④ 很多非凸函数在局部极小值点附近是局部凸的
⑤ 实践中,非凸函数的局部极小值可能足够好
2 凸集Convex Sets
集合中任意两点连线形成的线段属于这个集合,这个集合是凸集。
θx1+(1−θ)x2,0≤θ≤1\theta x_1+(1-\theta)x_2,0≤\theta≤1θx1+(1−θ)x2,0≤θ≤1
More General:所有的凸组合都在集合中。
注意:是否是凸集,集合的边界是否属于这个集合很重要
凸包(Convex Hull)
什么是凸包?
假设平面上有p0p_0p0~p12p_{12}p12共13个点,过某些点作一个多边形,使这个多边形能把所有点都"包"起来。当这个多边形是凸多边形的时候,就叫它“凸包”。
凸包问题:把这些点都放在二维坐标系下,每个点都能用(x,y)(x,y)(x,y)来表示。现给出点的数目13,和各个点的坐标,求能构成凸包的点。
- 凸包:计算几何(图形学)中的概念
在一个实数向量空间V中,对于给定集合X,所有包含X的凸集的交集S被称为X的凸包。X的凸包可以用X内所有点( X1 ,. . . ,Xn )的凸组合来构造 - 在二维欧几里得空间中,凸包可想象为一条刚好包着所有点的橡皮圈。用不严谨的话来讲,给定二维平面上的点集,凸包就是将最外层的点连接起来构成的凸多边形,它能包含点集中所有的点
- 凸包问题:给定点集,求构成凸包的点
常见的凸集:
① 超平面 {
x∣αTx=bx|\alpha^Tx=bx∣αTx=b}
② 半平面 {
x∣αTx≥bx|\alpha^Tx≥bx∣αTx≥b}
③ 球的表面 {
x∣ ∣∣x−x0∣∣=bx| \ ||x-x_0||=bx∣ ∣∣x−x0∣∣=b}
④ 球 {
x∣ ∣∣x−x0∣∣≤bx| \ ||x-x_0||≤bx∣ ∣∣x−x0∣∣≤b}
⑤ 多项式 {
f ∣ f=∑iaixif\ | \ f=\sum_{i}^{} a_ix^if ∣ f=∑iaix