概率机器学习——6. 线性回归模型(2)

线性回归模型

贝叶斯线性回归

如前所述，最小二乘法可以看成对概率模型的最大似然估计，存在过拟合的风险；同时，为了对估计的质量进行刻画，需要考虑多次重复性实验(即对多次的训练数据集$\mathcal{D}$进行平均)。这种“重复实验”的范式在实际应用中存在不足，首先，多次重复实验带来更多的计算代价。其次，如果有多个训练集，更加有效的方式应该是将其合并成一个更大的数据集，更加充分的训练模型。贝叶斯推断提供了另外一种思路，在给定一个数据集的情况下，刻画模型自身的不确定性，可以有效避免过拟合。同时，带有正则化项的回归模型可以看作贝叶斯推断的特例。

贝叶斯推断的基本思想是将未知变量看成随机变量，在观察数据之前，对变量的取值用一个先验分布刻画。在观察到数据之后，利用贝叶斯定理对先验分布进行更新，得到后验分布。一线性回归为例，模型的参数$\mathbf{w}$是未知的。为此，假设先验分布$p(\mathbf{w})$，给定训练集$\mathcal{D}$，贝叶斯后验分布为
$$p(\mathbf{w}|\mathcal{D})=\frac{p(\mathcal{D}|\mathbf{w})\cdot p(\mathbf{w})}{p(\mathcal{D})}$$
其中$p(\mathcal{D}|\mathbf{w})$是描述数据生成的似然函数，$p(\mathcal{D})$为“证据”。

最大后验分布估计

从贝叶斯的角度，正则化可以看成对后验分布的MAP估计，即最大后验估计(Maximum a Posterior, MAP)，其一般形式如下：
$${\hat{\mathbf{w}}}_{\text{MAP}}=\arg \underset{\mathbf{w}}{\max }\log p(\mathcal{D}|\mathbf{w})+\log p(\mathbf{w})$$
这里忽略了与$\mathbf{w}$无关的项$-\log p(\mathcal{D})$。对于线性回归模型，数据的似然函数是一个高斯分布。如果先验分布是均匀分布，MAP估计退化为最大似然估计。通常情况下，我们选择高斯分布作为先验分布：
$$p(\mathbf{w})=\prod _{i=1}^d\mathcal{N}(w_i|0,{\tau }^2)$$
这里设置均值为0，表示在得到数据之前我们倾向于认为各个参数$w_i$越接近0，可能性越大。将上式代入MAP的一般形式，可以得到具体的MAP估计：
$${\hat{\mathbf{w}}}_{\text{MAP}}=\arg \underset{\mathbf{w}}{\max }\sum _{i=1}^N\mathcal{N}(y_i|{{\mathbf{w}}^{\top }\mathbf{x}}_i,{\sigma }^2)+\sum _{i=1}^d\log \mathcal{N}(w_j|0,{\tau }^2)$$
在设定合适的超参数${\sigma }^2$和${\tau }^2$的情况下，该问题与岭回归等价。因此，岭回归实际上是一种特殊贝叶斯模型的MAP估计。类似地，Lasso实际上也是一种MAP估计，其中先验分布设为拉普拉斯分布：
$$p(\mathbf{w})=\prod _{i=1}^d\frac{1}{2b}\exp \left(-\frac{|w_i-\mu |}{b}\right)$$
其中均值$\mu \in \mathbb{R}$，$b>0$为尺度参数。在Lasso回归中，均值设为0。相比于高斯分布，拉普拉斯分布具有更加“平缓”的尾部。事实上，拉普拉斯分布可以写成无穷多个高斯分布的“混合”：
$$p(w)=\frac{1}{2b}\exp \left(-\frac{|w_i-\mu |}{b}\right)=\int p(w|\mu ,\tau )p(\tau )d\tau$$
其中$p(\tau )=\frac{1}{2b^2}\exp \left(-\frac{w}{2b^2}\right)$为指数分布，$p(w|\mu ,\tau )=\mathcal{N}(\mu ,\tau )$为高斯分布。这种形式称为“尺度高斯混合”(Scale Mixture of Gaussians)，是一种很有用的表示方式，后文将利用该形式推导贝叶斯Lasso的采样算法。

贝叶斯预测分布

最大似然估计和MAP估计均是寻找某种目标函数下最优的单一参数，而贝叶斯推断可以充分利用后验分布$p(\mathbf{w}|\mathcal{D})$的信息。如何准确、高效地计算后验分布是贝叶斯推断的核心问题，通常情况下，也是一个困难的问题。

首先考虑相对简单的情况——先验分布和似然函数满足共轭性。具体地，对于线性回归模型，其似然函数$p(y|\mathbf{x})$是一个正态分布$\mathcal{N}(\mu ,{\sigma }^2)$，其中$\mu ={\mathbf{w}}^{\top }\mathbf{x}$。假设先验分布也是高斯分布：
$$p(\mathbf{w})=\mathcal{N}(\mathbf{w}|{\mathbf{w}}_0,{\mathbf{V}}_0)$$
其中${\mathbf{w}}_0$为均值，${\mathbf{V}}_0$为协方差矩阵。可以推出后验分布：
$$p(\mathbf{w}|\mathbf{X},\mathbf{y},{\sigma }^2)\propto \mathcal{N}({\mathbf{w}}_0,{\mathbf{V}}_0)\mathcal{N}(\mathbf{y}|\mathbf{Xw},{\sigma }^2{\mathbf{I}}_N)=\mathcal{N}(\mathbf{w}|{\mathbf{w}}_N,{\mathbf{V}}_N)$$
其中具体参数如下：
$$\begin{gathered} {\mathbf{w}}_N={\mathbf{V}}_N{\mathbf{V}}_0^{-1}{\mathbf{w}}_0+\frac{1}{{\sigma }^2}{\mathbf{V}}_N{\mathbf{X}}^{\top }\mathbf{y} \\ {\mathbf{V}}_N={\sigma }^2{\left({\sigma }^2{\mathbf{V}}_0^{-1}+{\mathbf{X}}^{\top }\mathbf{X}\right)}^{-1} \end{gathered}$$
在实际应用中，最常用的高斯先验分布为$\mathcal{N}(\mathbf{w}|0,{\sigma }^2\mathbf{I})$。

对于给定的测试数据$\mathbf{x}$，需要做出相应的预测$y$。在贝叶斯推断中，我们计算预测分布：
$$p(y|\mathbf{x},\mathcal{D})=\int p(y|\mathbf{w},\mathbf{x},\mathcal{D})p(\mathbf{w}|\mathcal{D})d\mathbf{w}$$
其中$p(\mathbf{w}|\mathcal{D})$为后验分布。由前文所述，一般情况下，假设$p(y|\mathbf{w},\mathbf{x},\mathcal{D})=p(y|\mathbf{w},\mathbf{x})$，即在给定模型参数的情况下，当前数据的分布于历史数据无关。这种假设通常是合理的，因为我们希望历史数据的信息都包含在模型$\mathbf{w}$的后验分布中。具体地，对于高斯先验的线性回归模型，可以得到：
$$\begin{array}{rl}p(y|\mathbf{x},\mathcal{D})& =\int \mathcal{N}(y|{\mathbf{x}}^{\top }\mathbf{w},{\sigma }^2)\mathcal{N}(\mathbf{w}|{\mathbf{w}}_N,{\mathbf{V}}_N)d\mathbf{w}\\ & =\mathcal{N}(y|{\mathbf{w}}_N^{\top }\mathbf{x},{\sigma }_N^2(\mathbf{x}))\end{array}$$
其中${\sigma }_N^2(\mathbf{x})={\sigma }^2+{{\mathbf{x}}^{\top }\mathbf{V}}_N\mathbf{x}$。输出$y$的后验是一个正态分布，其均值是参数与输入的线性组合${\mathbf{w}}_N^{\top }\mathbf{x}$，这与我们的直觉相符。而方差也是一个随着输入$\mathbf{x}$变化的量，而非一个定值。但${\sigma }_N^2$由两部分组成：前一项考虑数据自身的方差(噪声)；而后一项考虑与$\mathcal{D}$中数据点的关系，属于模型的不确定性。在已经给定了数据点的$\mathbf{x}$福建对应的不确定性较小，后验分布的方差也较小；反之，距离数据点较远的$\mathbf{x}$处不确定性较大，得到的方差也会较大。此外，可以证明${\sigma }_{N+1}^2(\mathbf{x})\le {\sigma }_N^2(\mathbf{x})$，且当$N\to \infty$时，${\sigma }_N^2(\mathbf{x})$的第二项趋于0，即当训练样本足够多时，模型的不确定性逐渐消失。

贝叶斯模型选择

贝叶斯方法通过考虑模型不确定性，可以进行模型选择。假设有$L$个不同的模型可供选择：
{Mi},i=1,2,…,L \left\{ \mathcal{M}_{i} \right\},\quad i = 1,2,\dots,L {Mi​},i=1,2,…,L
其中每个模型${\mathcal{M}}_i$代表数据集$\mathcal{D}$上的一个分布。例如，在线性回归模型中，模型刻画分布为$p(y|\mathbf{x})$，使用不同阶的多项式函数对应了不同的概率分布。对一个给定的数据集，假设其服从候选模型(分布)的某一个，但不知道具体是哪个，因此需要模型选择。

贝叶斯方法通过先验和后验分布描述模型的不确定性。对于给定的数据$\mathcal{D}$，模型的后验分布为
$$p({\mathcal{M}}_i|\mathcal{D})\propto p({\mathcal{M}}_i)\cdot p(\mathcal{D}|{\mathcal{M}}_i)$$
其中先验分布表达了对不同模型的偏好程度，第二项称为模型证据。在没有足够先验知识的情况下，一般假设不同模型具有相同的先验概率(即均匀先验分布)。因此，模型证据通常是我们更关心的，它描述了数据对不同模型的偏好程度。模型证据也称为边缘似然，因为对于参数化模型${\mathcal{M}}_i$，它可以写成对未知参数$\mathbf{w}$进行边缘化得到的：
$$\begin{array}{rl}p(\mathcal{D}|{\mathcal{M}}_i)& =\int p(\mathbf{w},\mathcal{D}|{\mathcal{M}}_i)d\mathbf{w}\\ & =\int p(\mathbf{w}|{\mathcal{M}}_i)p(\mathcal{D}|\mathbf{w},{\mathcal{M}}_i)d\mathbf{w}\end{array}$$
通常将两个模型的模型证据之比称为贝叶斯因子：
$$\text{Bayes Factor}=\frac{p(\mathcal{D}|{\mathcal{M}}_i)}{p(\mathcal{D}|{\mathcal{M}}_j)}$$
如果贝叶斯因子大于1，代表${\mathcal{M}}_i$比${\mathcal{M}}_j$更符合此数据集，反之亦然。

通过对模型参数进行边缘化，模型证据可以综合考虑模型复杂度，选择适中的模型。如果假设候选模型集合足够大，包含真实数据分布，那么可以证明上述贝叶斯模型选择在平均意义上可以选择出正确模型。具体地，假设候选模型${\mathcal{M}}_1$是生成$\mathcal{D}$的正确模型，对于任意一个其他模型${\mathcal{M}}_2$，通过对数据分布(即$p(\mathcal{D}|{\mathcal{M}}_1)$)求期望，计算平均意义下的贝叶斯因子：
$$\int p(\mathcal{D}|{\mathcal{M}}_1)\log \frac{p(\mathcal{D}|{\mathcal{M}}_1)}{p(\mathcal{D}|{\mathcal{M}}_2)}d\mathcal{D}$$
可以发现，这实际上是分布$p(\mathcal{D}|{\mathcal{M}}_1)$和$p(\mathcal{D}|{\mathcal{M}}_2)$之间的KL散度。根据KL散度的非负性，平均而言贝叶斯模型选择会倾向选择正确的模型${\mathcal{M}}_1$，即贝叶斯因子所定义的比较方式在所有数据集平均的角度上会做出正确的选择。

模型评估

对模型性能的评估是机器学习的重要方面：一方面，模型评估是对学习结果的诊断分析；另一方面，在正则化线性回归以及后文将介绍的很多机器学习模型中，往往涉及超参数的选择，需要评估不同超参数下的模型性能。

评价指标

评价指标是模型评估的一个重要方面。以二分类任务为例，设测试样本数为$M$，其中正样本数为$P$，负样本数为$N$。记正确分为正类的样本数为$TP$，错误分为正类的样本数为$FP$；正确分为负类的样本数为$TN$，错误分为负类的样本数为$FN$。常用的评价准则包括如下5个：

1. 准确率：分类正确样本占总样本数的比率，即$\frac{TP+TN}{M}$。
2. 精度(也称召回率、真阳率)：准确预测为正类的样本占所有正类样本的比率，即$\frac{TP}{P}$。
3. 混淆矩阵：描述每一类样本中被正确分类或错误分类的数目(或比率)。相比于准确率和精度，混淆矩阵包含了更详细的信息。
4. 对数损失：对于输出是预测概率的分类器，对数损失定义为正确类别对应预测概率值的对数。
5. AUC(ROC曲线下面积)：ROC曲线是描述真阳率(纵轴$TPR=\frac{TP}{P}$)随假阳率(横轴$FPR=\frac{FP}{P}$)变化的曲线。该变化是由分类决策时采用的阈值决定的——分类器预测正类的准则为$f(\mathbf{x})>T$，其中$T$为阈值，改变$T$值得到不同的分类结果。AUC值是ROC曲线的线下面积，它描述了分类器在不同阈值设定下的性能。AUC值越高，表明分类器能够更好地区分正负样本。