贝叶斯优化

Bayes Optimization

1. 介绍

本章节贝叶斯优化用于机器学习模型调参使用，由J.Snoek(2012)提出，主要思想是给定优化的目标函数（只需要指定输入和输出即可，无需知道内部结构以及数学性质），通过不断添加样本点来更新目标函数的后验分布(posterior distribution)，该过程相当于是高斯过程（通俗点说就是每次使用参数均均考虑之前参数的相关信息，从而更好的调整当前的参数）。

与常规的网格搜索或者随机搜索的区别是：

• 贝叶斯调参采用高斯过程，考虑之前的信息，不断的更新先验；网格搜索活随机搜索未考虑之前的信息
• 贝叶斯调参迭代次数相对较少，速度快；
• 贝叶斯调参相较于网格搜索，对非凸问题依然稳健，而网格搜索容易得到局部最优解。

下面主要主要分两部分介绍，分别是高斯过程和贝叶斯调参过程。

• 高斯过程，用于拟合优化目标函数
• 贝叶斯优化，包括"开采"和"勘探"，用以花最少的代价找到最优值

2. 高斯过程

高斯过程是一系列随机变量的集合，有限个联合高斯分布， 高斯过程可以用于非线性回归、非线性分类和参数的寻优等。

2.1 多元高斯分布

• 高斯分布

  定义