机器学习笔记之核函数再回首：Nadarya-Watson核回归python手写示例

引言

本节从代码角度，介绍基于高维特征向量使用$\text{Nadaraya-Watson}$核回归的示例。

回顾：$\text{Nadaraya-Watson}$核回归

在注意力机制基本介绍中，我们提到过这种基于注意力机制权重的懒惰学习方法。该方法与注意力机制关联的核心操作有如下步骤：

通过核函数描述样本之间的关联关系

我们想要主观获取某陌生样本$x\in {\mathbb{R}}^p$与数据集内各样本 x ( i ) ∈ D = { x ( i ) , y ( i ) } i = 1 N , x ( i ) ∈ R p x^{(i)} \in \mathcal D = \{x^{(i)},y^{(i)}\}_{i=1}^N,x^{(i)} \in \mathbb R^p x(i)∈D={ x(i),y(i)}i=1N​,x(i)∈Rp之间的关联关系。而这种描述关联关系的操作，我们首先会想到内积：
$$x\cdot x^{(i)}=x^T[x^{(i)}]$$
如果涉及到一个非线性问题——或者说仅仅使用内积对关联关系的表达不够丰富，可以通过高维特征转换将非线性问题转化为高维线性问题：
$$\{\begin{array}{l}x\Rightarrow \varphi (x)\\ x^{(i)}=\varphi (x^{(i)})(i=1,2,\cdots ,N)\\ x^T[x^{(i)}]\Rightarrow [\varphi (x){]}^T\varphi (x^{(i)})\end{array}$$
将低维特征转化为高维特征同样存在弊端。在核方法思想与核函数中介绍过：映射后的特征结果$\varphi (x),$其特征维数远远超过原始特征维数$p$，甚至是无限维。在这种情况下去计算$[\varphi (x){]}^T\varphi (x^{(i)})$，其计算代价是无法估量的。而核技巧提供了一种简化运算的方式。关于核函数$\kappa (\cdot )$的定义表示如下：
$$\kappa \left[x,x^{(i)}\right]=⟨\varphi (x),\varphi (x^{(i)})⟩=[\varphi (x){]}^T\varphi (x^{(i)})$$
可以看出：核函数$\kappa (\cdot )$的自变量是未经过高维转换的原始特征；而对应函数是高维转换后的内积结果。因而该函数的作用可以简化运算。最终我们可以通过核函数描述$x$与数据集内所有样本$x^{(i)}(i=1,2,\cdots ,N)$之间的关联关系：
$$\kappa \left[x,x^{(i)}\right]i=1,2,\cdots ,N$$

使用$\text{Softmax}$函数对权重进行划分

此时已经得到$x$与所有样本$x^{(i)}$的核函数结果，这$N$个结果有大有小，数值大的意味着样本之间的关联程度高。从而可以将该关联关系描述成$x$与样本$x^{(i)}$对应标签结果$y^{(i)}$的权重$\mathcal{G}(x,x^{(i)})$：
G ( x , x ( i ) ) = κ ( x , x ( i ) ) ∑ j = 1 N κ ( x , x ( j ) ) \mathcal G(x,x^{(i)}) = \frac{\kappa(x,x^{(i)})}{\sum_{j=1}^{N}\kappa(x,x^{(j)})} G(x,x(i))=∑