机器学习笔记之优化算法(四)线搜索方法(步长角度；非精确搜索)

引言

上一节介绍了从精确搜索的步长角度观察了线搜索方法，本节将从非精确搜索的步长角度重新观察线搜索方法。

回顾：精确搜索步长及其弊端

关于线搜索方法的迭代过程表示如下：
$$x_{k+1}=x_k+{\alpha }_k\cdot {\mathcal{P}}_k$$
其中：

• 变量 x k , x k + 1 ∈ { x k } k = 0 ∞ x_k,x_{k+1} \in \{x_{k}\}_{k=0}^{\infty} xk​,xk+1​∈{ xk​}k=0∞​表示先搜索处理优化问题时，迭代过程中产生的数值解；
• ${\alpha }_k$是一个标量，表示步长信息；
• ${\mathcal{P}}_k$可视作一个单位向量，描述当前迭代步骤下数值解更新的方向信息。
  如果${\mathcal{P}}_k$是一个描述方向的常规向量，依然可以将其表示为”系数$\times$单位向量“的形式，最后将系数与${\alpha }_k$合并即可。

而基于精确搜索线搜索方法寻找最优步长的基本逻辑是：

• 固定住单位向量${\mathcal{P}}_k$，此时关于当前时刻数值解对应的目标函数$f(x_{k+1})$可看作是仅与步长变量$\alpha$相关的一个函数$\varphi (\alpha )$：
  $$\begin{array}{r}f(x_{k+1})=f(x_k+\alpha \cdot {\mathcal{P}}_k)\triangleq \varphi (\alpha )\end{array}$$
• 通过选择合适步长${\alpha }_k$，使得目标函数$f(x_{k+1})$达到最小，从而达到当前迭代步骤优化程度最大的目的：
  $${\alpha }_k=\underset{\alpha >0}{\mathrm{argmin}}f(x_{k+1})$$

具体步骤表示如下：
对每个迭代步骤$k=1,2,\cdots ,\infty$执行如下操作：
由于此时$f(x_{}$