吃瓜篇02

机器学习三要素：

1. 模型：根据具体问题，确定假设空间
2. 策略：根据评价标准，确定选取最优模型的策略（损失函数由此诞生）
3. 算法：求解损失函数，得出最优模型

解释下列公式推导：
$E_{\hat{w}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$求导得到
$$\frac{\partial E_{\hat{w}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})$$
为了求导，先展开这个表达式。根据矩阵乘法的性质，我们可以将其展开为：
$$E_{\hat{w}}=({\mathbf{y}}^{\mathrm{T}}-{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}})(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$$$E_{\hat{w}}={\mathbf{y}}^{\mathrm{T}}\mathbf{y}-{\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}+{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}$$
由于 ${\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}$ 和 ${\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$是同一个值，因此可以合并：
$$E_{\hat{w}}={\mathbf{y}}^{\mathrm{T}}\mathbf{y}-2{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}+{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}$$ 对 $\hat{\mathbf{w}}$ 求导
逐项求导：

1. ${\mathbf{y}}^{\mathrm{T}}\mathbf{y}$ 是常数，对 $\hat{\mathbf{w}}$ 的导数为 0。
2. $-2{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$的导数为 $-2{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$。
3. ${\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}的导数为2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}$。
   因此，总导数为：
   $$\frac{\partial E_{\hat{w}}}{\partial \hat{\mathbf{w}}}=-2{\mathbf{X}}^{\mathrm{T}}\mathbf{y}+2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}$$
   简化后得到：$$\frac{\partial E_{\hat{w}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})$$

总结：

task02总体来讲偏向入门（每次学习都卡在线性回归这一块，算是深度学习中的abandon），适合回顾之前的线代知识，在南瓜书视频中学到了一些巧妙的推导方法。