人人都能看懂的DDPM反向降噪过程公式推导

0 前言

上一篇介绍了前向加噪过程，得到如下从 $x_0$ 一步到 $x_t$ 过程：

1. ${\alpha }_t+{\beta }_t=1$，其中 ${\beta }_t$ 是正态分布方差，即第 $t$ 步产生的噪声从 $N(0,{\beta }_t)$ 采样。
2. $X_t=\sqrt{{\overline{\alpha }}_t}{X}_0+\sqrt{1-{\overline{\alpha }}_t}{z}_t$，其中$X_t$表示第t步加噪后的图像，$X_0$表示初始图像。${\overline{\alpha }}_t={\alpha }_t{\alpha }_{t-1}{\alpha }_{t-2}...{\alpha }_1$，$z_t$ ~$N(0,1)$

可以看到，加噪过程唯一不确定的是从标准正态分布中随机采样的噪声$z_t$。因此，我们训练一个噪声预测模型，模型预测当前图像的噪声$z_t$，记作$ϵ$。

这样，可以从随机噪声中一步就可以预测到$X_0=\frac{1}{\sqrt{{\overline{\alpha }}_t}}(X_t-\sqrt{1-{\overline{\alpha }}_t}ϵ)$，然而，从图像中精准的预测$z_t$比较困难，尤其是在初始随机噪声中。

如果我们知道真实的$X_0$，结合$X_t$，我们可以比较置信的推导出$x_{t-1}$。然而我们不可能知道真实$X_0$，但是可以借助模型预测，虽然从$X_t$直接预测$X_0$不够准确，但是此时预测出的$X_0$是根据当前$X_t$输入预测的最大可能性的$X_0$。可以将模型预测的$X_0$假设为真实$X_0$。直接反推$X_{t-1}$，随着不断地反向迭代降噪，最终得到的$X_0$越来越接近真实分布。

1 数学基础

1.1 重参数技巧

若 $X\sim N(\mu ,{\sigma }^2)，Y\sim N(0,1)$ , 则从 $X$ 中随机采样$z$ 等价于从标准正态分布 $Y$ 中采样 $z^{\prime }$ ，$z=\mu +\sigma z^{\prime }$

1.2 正态分布概率密度函数

若$X\sim N(\mu ,{\sigma }^2)$，则其概率密度函数：
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

1.3 贝叶斯公式
$$p(X_{t-1}|X_t)=p(X_t|X_{t-1})\frac{p(X_{t-1})}{p(X_t)}$$

2 由 $x_0$、$x_t$ 反推 $x_{t-1}$

2.1 推断$x_{t-1}$分布

根据加噪过程，有如下4个公式：
$$\begin{array}{rlr}& q(x_{t-1}|x_0)\sim N(\sqrt{{\overline{\alpha }}_{t-1}}{x}_0,(1-{\overline{\alpha }}_{t-1})I)& 公式(1)\\ & q(x_t|x_0)\sim N(\sqrt{{\overline{\alpha }}_t}{x}_0,(1-{\overline{\alpha }}_t)I)& 公式(2)\\ & & \\ & q(x_t|x_{t-1})=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{z}_t& 公式(3)\\ & q(x_t|x_{t-1},x_0)=q(x_t|x_{t-1})\sim N(\sqrt{{\alpha }_t}{x}_{t-1},(1-{\alpha }_t)I)& 公式(4)\end{array}$$

在已知 $x_t$ 与 $x_0$ 时，反推$x_{t-1}$，套用贝叶斯公式：

$$\begin{array}{rl}q(x_{t-1}|x_t,x_0)& =\frac{q(x_t|x_{t-1},x_0)q(x_{t-1}|x_0)}{q(x_t|x_0)}\\ & =\frac{q(x_t|x_{t-1})q(x_{t-1}|x_0)}{q(x_t|x_0)}\end{array}$$
因为 $q(x_{t-1}|x_0)$、$q(x_t|x_0)$、$q(x_t|x_{t-1},x_0)$ 三项都服从正态分布，所以$q(x_{t-1}|x_t,x_0)$服从某个正态分布，接下来只需计算这个正态分布的均值和方差。

2.2 推导$x_{t-1}$均值、方差

从概率密度函数入手，$q(x_{t-1}|x_t,x_0)$ 概率密度如下：
$$\begin{array}{rl}& \frac{\frac{1}{\sqrt{2\pi }\sqrt{1-{\alpha }_t}}{e}^{-\frac{(x_t-\sqrt{{\alpha }_t}{x}_{t-1}{)}^2}{2(1-{\alpha }_t)}}\frac{1}{\sqrt{2\pi }\sqrt{1-{\overline{\alpha }}_{t-1}}}{e}^{-\frac{(x_{t-1}-\sqrt{{\overline{\alpha }}_{t-1}}{x}_0{)}^2}{2(1-{\overline{\alpha }}_{t-1})}}}{\frac{1}{\sqrt{2\pi }\sqrt{1-{\overline{\alpha }}_t}}{e}^{-\frac{(x_t-\sqrt{{\overline{\alpha }}_t}{x}_0{)}^2}{2(1-{\overline{\alpha }}_t)}}}\\ & \\ & =\frac{1}{\sqrt{2\pi }\sqrt{\frac{(1-{\alpha }_t)(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}}}{e}^{-[\frac{(x_t-\sqrt{{\alpha }_t}{x}_{t-1}{)}^2}{2(1-{\alpha }_t)}+\frac{(x_{t-1}-\sqrt{{\overline{\alpha }}_{t-1}}{x}_0{)}^2}{2(1-{\overline{\alpha }}_{t-1})}-\frac{(x_t-\sqrt{{\overline{\alpha }}_t}{x}_0{)}^2}{2(1-{\overline{\alpha }}_t)}]}公式(5)\end{array}$$

前面有说到$q(x_{t-1}|x_t,x_0)$服从某个正态分布，因此公式(1)是对应正态分布的概率密度函数。而正态分布的概率密度函数形式为$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$，对号入座，
$$\frac{1}{\sqrt{2\pi }\sigma }{e}^{(...)}=\frac{1}{\sqrt{2\pi }\sqrt{\frac{(1-{\alpha }_t)(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}}}{e}^{(...)}$$
即可以得知$q(x_{t-1}|x_t,x_0)$的方差只能为：
$${\sigma }^2=\frac{(1-{\alpha }_t)(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}公式(6)$$

为了凑成正态分布的概率密度函数，整理指数部分为$-\frac{(x-\mu {)}^2}{2{\sigma }^2}$，即分母凑成$2{\sigma }^2$形式，结合公式(2)：
$$\begin{array}{rl}& -[\frac{(x_t-\sqrt{{\alpha }_t}{x}_{t-1}{)}^2}{2(1-{\alpha }_t)}+\frac{(x_{t-1}-\sqrt{{\overline{\alpha }}_{t-1}}{x}_0{)}^2}{2(1-{\overline{\alpha }}_{t-1})}-\frac{(x_t-\sqrt{{\overline{\alpha }}_t}{x}_0{)}^2}{2(1-{\overline{\alpha }}_t)}]\\ & \\ & =-[\frac{(x_t-\sqrt{{\alpha }_t}{x}_{t-1}{)}^2}{2{\sigma }^2}\ast \frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}+\frac{(x_{t-1}-\sqrt{{\overline{\alpha }}_{t-1}}{x}_0{)}^2}{2{\sigma }^2}\ast \frac{1-{\alpha }_t}{1-{\overline{\alpha }}_t}-\frac{(x_t-\sqrt{{\overline{\alpha }}_t}{x}_0{)}^2}{2{\sigma }^2}\ast \frac{(1-{\alpha }_t)(1-{\overline{\alpha }}_{t-1})}{(1-{\overline{\alpha }}_t{)}^2}]\\ & \\ & =-\frac{1}{2{\sigma }^2}[x_{t-1}^2-2\frac{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})x_t+\sqrt{{\overline{\alpha }}_{t-1}}(1-{\alpha }_t)x_0}{1-{\overline{\alpha }}_t}{x}_{t-1}+(\frac{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})x_t+\sqrt{{\overline{\alpha }}_{t-1}}(1-{\alpha }_t)x_0}{1-{\overline{\alpha }}_t}{)}^2]\\ & \\ & =-\frac{1}{2{\sigma }^2}[x_{t-1}-\frac{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})x_t+\sqrt{{\overline{\alpha }}_{t-1}}(1-{\alpha }_t)x_0}{1-{\overline{\alpha }}_t}{]}^2\end{array}$$
对号入座，可得均值：
$$\mu =\frac{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})x_t+\sqrt{{\overline{\alpha }}_{t-1}}(1-{\alpha }_t)x_0}{1-{\overline{\alpha }}_t}公式(7)$$

将公式(7)中的$x_0$用模型预测噪声 $ϵ$ 和 $x_t$ 替换:
$$\begin{array}{rl}& x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ\\ & \\ =>& x_0=\frac{x_t-\sqrt{1-{\overline{\alpha }}_t}ϵ}{\sqrt{{\overline{\alpha }}_t}}\end{array}$$
替换 $x_0$ 并化简得到均值：
$$\begin{array}{rl}\mu & =\frac{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})x_t+\sqrt{{\overline{\alpha }}_{t-1}}(1-{\alpha }_t)x_0}{1-{\overline{\alpha }}_t}\\ & \\ & =\frac{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})x_t+\frac{1}{\sqrt{{\alpha }_t}}(1-{\alpha }_t)(x_t-\sqrt{1-{\overline{\alpha }}_t}ϵ)}{1-{\overline{\alpha }}_t}\\ & \\ & =\frac{1}{\sqrt{{\alpha }_t}}\frac{{\alpha }_t(1-{\overline{\alpha }}_{t-1})x_t+(1-{\alpha }_t)x_t-(1-{\alpha }_t)\sqrt{1-{\overline{\alpha }}_t}ϵ)}{1-{\overline{\alpha }}_t}\\ & \\ & =\frac{1}{\sqrt{{\alpha }_t}}\frac{(1-{\overline{\alpha }}_t)x_t-(1-{\alpha }_t)\sqrt{1-{\overline{\alpha }}_t}ϵ)}{1-{\overline{\alpha }}_t}\\ & \\ & =\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\overline{\alpha }}_t}}ϵ)\end{array}$$

至此，我们得到了$q(x_{t-1}|x_t,x_0)$所服从正态分布的均值 $\mu$ 和方差 ${\sigma }^2$：
$$\begin{array}{rlr}\mu & =\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\overline{\alpha }}_t}}ϵ)& 公式(8)\\ & & \\ {\sigma }^2& =\frac{(1-{\alpha }_t)(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}=\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}{\beta }_t& 公式(9)\end{array}$$
注意公式(9)，作者实验发现，${\sigma }^2=\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}{\beta }_t$ 与 ${\sigma }^2={\beta }_t$ 效果相似。这也很好理解，因为$\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}$本身就近似等于1。

因此，方差就直接被替换。再次重新整理最终的均值和方差：
$$\begin{array}{rl}\mu & =\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}ϵ)\\ & \\ {\sigma }^2& ={\beta }_t\end{array}$$
可得：

$$q(x_{t-1}|x_t)\sim N(\mu ,{\sigma }^2)=N(\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}ϵ),{\beta }_t)$$

3 反向降噪

利用重参数技巧：
$$\begin{array}{rl}{x}_{t-1}& ={\mu }_t+\sigma z\\ & \\ & =\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}ϵ)+\sqrt{{\beta }_t}z\end{array}$$

与论文降噪采样算法完全一致。