前言

学习 MIT S.184 课程，本篇文章记录课程第四讲：潜空间和神经网络架构，记录下个人学习笔记，和大家一起分享交流😄

Website：https://diffusion.csail.mit.edu/

Course Notes：An Introduction to Flow Matching and Diffusion Models

1. Class Overview

今天进入第四讲，我们开始讨论如何真正构建大规模图像生成器。

在前面几讲中，我们已经完成了生成模型的核心理论框架：

Lecture 1 主要介绍了 Flow Models 和 Diffusion Models，也就是从 ODE / SDE 的角度理解生成模型。

Lecture 2 讨论了 Flow Matching，重点回答了如何训练一个从噪声分布流向数据分布的向量场。

Lecture 3 讨论了 Score Matching 和 Guidance，说明了如何用 score 函数理解扩散模型，以及如何通过 prompt 对生成过程进行条件控制。

到这里为止，我们已经知道了生成模型的基本数学结构：概率路径、向量场、score 函数、训练损失和采样算法。

但是，如果我们真的想构建一个大规模图像生成器，还需要解决两个非常实际的问题：

1. 如何让高维图像数据变得更容易建模；
2. 如何设计合适的神经网络架构来参数化前面讲到的向量场或 score 函数。

这正是本节课的主题：

Latent spaces + Network architectures

2. Latent Spaces

我们先从 潜空间（latent space） 开始。

潜空间的核心思想是：不要直接在原始像素空间中建模图像，而是先把图像压缩成一个更低维、更容易建模的表示，然后在这个压缩后的空间中训练生成模型。

假设我们要生成下面这样一张图像：

如果直接把图像看作一个向量，那么每个像素、每个颜色通道都会对应向量中的一个维度。例如，一张 RGB 图像有 3 个颜色通道，高度为 600，宽度为 1000，那么它对应的向量维度就是：

$$3\times 600\times 1000=1,800,000$$

也就是说，一张普通的高分辨率图像就已经是一个 180 万维的向量。

这带来了非常大的挑战。

首先，直接在如此高维的像素空间中训练模型会消耗大量 GPU 显存。图像越大，网络中间特征、梯度和优化状态都会急剧增加。

其次，学习问题本身也会变得非常困难。因为在生成模型中，我们不是只做一次前向推理，而是需要在采样过程中反复调用神经网络。例如，ODE / SDE 采样可能需要几十步甚至上百步，每一步都要在高维空间中计算一次向量场或 score。

第三，原始像素空间存在大量冗余。相邻像素通常高度相关，例如天空区域、背景区域、大片同色区域中，很多像素信息是重复的。如果直接在像素层面建模，模型会把大量计算资源花在这些低层细节上，而不是更重要的语义结构上。

这也是为什么高维图像空间对扩散模型尤其困难。

在监督学习中，图像分类模型通常是从高维图像映射到一个低维标签空间，例如 ImageNet 分类中输出 1000 个类别概率。而在生成模型中，我们需要学习的是一个向量场：

$$u_t^{\theta }:{\mathbb{R}}^d\to {\mathbb{R}}^d$$

也就是说，输入是一个 $d$ 维图像向量，输出仍然是一个 $d$ 维速度向量。如果 $d=1,800,000$，那么模型每一步都要预测一个 180 万维的输出，并且采样时还要重复调用很多次。

因此，直接在像素空间中做大规模生成建模并不是一个理想选择。这就引出了潜空间的作用：

先把图像压缩到一个更低维的潜表示中，再在潜空间中训练生成模型。

3. Standard Autoencoders

那么，潜空间从哪里来？最常见的方法是使用 自编码器（autoencoder）。

一个自编码器由两部分组成：

• Encoder：把数据从原始数据空间映射到潜空间；
• Decoder：把潜空间中的表示映射回原始数据空间。

假设原始图像数据位于 $x\in {\mathbb{R}}^d$ ，其中 $d$ 是原始像素空间维度。我们希望把它压缩到一个更低维的潜变量 $z\in {\mathbb{R}}^k$ ，其中 $k<d$ ，那么编码器可以写作：

$${\mu }_{\varphi }:{\mathbb{R}}^d\to {\mathbb{R}}^k$$

它把原始数据 $x$ 编码为潜变量 $z={\mu }_{\varphi }(x)$ 。

解码器可以写作：

$${\mu }_{\theta }:{\mathbb{R}}^k\to {\mathbb{R}}^d$$

它把潜变量 $z$ 解码回数据空间 $\hat{x}={\mu }_{\theta }(z)$ 。

因此，整个自编码器的过程就是：

$$x\stackrel{{\mu }_{\varphi }}{\to }z\stackrel{{\mu }_{\theta }}{\to }\hat{x}$$

我们的目标是让重建结果 $\hat{x}$ 尽可能接近原始输入 $x$ 。

这对应标准的重建损失：

$${\mathcal{L}}_{\mathrm{Recon}}(\varphi ,\theta )={\mathbb{E}}_{x\sim p_{\mathrm{data}}}\left[{\Vert {\mu }_{\theta }({\mu }_{\varphi }(x))-x\Vert }^2\right]$$

这个损失的含义非常直接：从数据分布中采样一个图像 $x$ ，先用编码器压缩成潜变量，再用解码器还原回图像，然后计算重建图像和原始图像之间的误差，如果这个损失足够小，就说明编码器和解码器能够保留图像中的主要信息。

标准自编码器解决了两个问题：

第一，它确实可以压缩数据。只要潜空间维度 $k$ 小于原始空间维度 $d$，编码器就会把图像压缩到一个更低维的表示中。

第二，它可以通过重建损失保证信息不会丢失太多。也就是说，经过编码和解码之后，图像仍然能被较好地恢复。

但这还不够。因为在我们的任务中，自编码器本身不是最终目标。我们真正想做的是先把图像编码到潜空间中，然后在潜空间中训练扩散模型或流模型。因此，我们必须关心另一个问题：

数据被编码到潜空间后，潜变量的分布是什么样子？

定义潜分布：

$$x\sim p_{\mathrm{data}},z={\mu }_{\varphi }(x)\Rightarrow z\sim p_{\mathrm{latent}}$$

也就是说，我们从真实数据分布中采样一个图像 $x$ ，再通过编码器得到潜变量 $z$ 。所有这些 $z$ 构成的分布就是潜分布 $p_{\mathrm{latent}}$ 。

问题在于，标准自编码器的重建损失只关心 “能不能重建”，并不关心潜变量分布是否容易建模。换句话说，标准自编码器可能会学到一个很奇怪、很粗糙、很不规则的潜空间分布。

如果潜分布像图中那样非常不规则，那么虽然编码和解码都能工作，但后续在这个潜空间中训练生成模型会变得很困难。这就是标准自编码器的问题：

它可以压缩和重建，但无法保证潜空间分布是 “好学的”。

这里的 “好学” 不是一个严格数学定义，而是指潜分布应该相对平滑、连续、结构规整，使得后续的扩散模型或流模型可以比较容易地学习它。如果潜分布很破碎、很扭曲，那么我们虽然降低了维度，却可能让生成建模问题变得更难。

因此，我们希望构造一种自编码器，它不仅能重建图像，还能让潜空间分布尽可能接近一个简单分布，例如标准高斯分布。

这就引出了 变分自编码器（Variational Autoencoder, VAE）。

4. Variational Autoencoders

在其他机器学习课上，大家可能听说过变分自编码器（VAE），但在这里，我们不会把它当作独立的通用模型来讨论，而是仅从构建潜扩散模型的角度来介绍它。

变分自编码器的核心思想是：把确定性编码变成随机编码。

在标准自编码器中，给定一个输入 $x$ ，编码器输出一个确定的潜变量：

$$z={\mu }_{\varphi }(x)$$

而在 VAE 中，编码器不再输出一个确定点，而是输出一个概率分布：

$$q_{\varphi }(z|x)$$

通常，我们令这个分布是高斯分布：

$$q_{\varphi }(z|x)=\mathcal{N}\left(z;{\mu }_{\varphi }(x),\mathrm{diag}({\sigma }_{\varphi }^2(x))\right)$$

这里：

• ${\mu }_{\varphi }(x)$ 是编码器输出的均值；
• ${\sigma }_{\varphi }^2(x)$ 是编码器输出的方差；
• $\mathrm{diag}({\sigma }_{\varphi }^2(x))$ 表示每个潜变量维度有自己的方差。

也就是说，给定一个数据点 $x$ ，编码器不再只告诉我们 “它的潜变量是什么”，而是告诉我们 “它的潜变量大概分布在哪里”。

编码过程变成从这个分布中采样：

$$z\sim q_{\varphi }(\cdot |x)$$

这就是随机编码。

对应地，解码器也可以写成一个条件概率分布：

$$p_{\theta }(x|z)=\mathcal{N}\left(x;{\mu }_{\theta }(z),{\sigma }_{\theta }^2{I}_d\right)$$

这里：

• ${\mu }_{\theta }(z)$ 是解码器输出的重建图像均值；
• ${\sigma }_{\theta }^2$ 通常可以看作固定的解码方差；
• $I_d$ 表示各维度独立同方差。

因此，VAE 的编码和解码过程可以写成：

$$z\sim q_{\varphi }(\cdot |x),x\sim p_{\theta }(\cdot |z)$$

与标准自编码器相比，VAE 的关键变化是：

潜变量不再是确定点，而是从一个由编码器给出的分布中采样得到。

这样做的目的，是为了给潜空间分布加入可控的概率结构。

OK，那么我们来谈谈如何训练这个东西。

首先，VAE 仍然需要重建能力。也就是说，我们希望一个数据点 $x$ 被编码为潜变量 $z$ 后，解码器能够从 $z$ 中恢复出原始 $x$ 。由于 VAE 是概率模型，重建损失可以用负对数似然来定义：

$${\mathcal{L}}_{\mathrm{VAE}\text{-}\mathrm{Recon}}(\varphi ,\theta )=-{\mathbb{E}}_{x\sim p_{\mathrm{data}},z\sim q_{\varphi }(z|x)}\left[\log p_{\theta }(x|z)\right]$$

这个损失的含义是：先从数据集中采样一个图像 $x$ ，再从编码器分布 $q_{\varphi }(z|x)$ 中采样潜变量 $z$ ，然后希望解码器分布 $p_{\theta }(x|z)$ 给原始图像 $x$ 较高概率。换句话说，给定潜变量 $z$ 后，原始图像 $x$ 应该是一个高似然样本。

由于我们假设：

$$p_{\theta }(x|z)=\mathcal{N}\left(x;{\mu }_{\theta }(z),{\sigma }_{\theta }^2{I}_d\right)$$

所以负对数似然可以化简为均方误差形式。忽略与参数无关的常数项，有：

$$-\log p_{\theta }(x|z)=\frac{1}{2{\sigma }_{\theta }^2}{\Vert x-{\mu }_{\theta }(z)\Vert }^2+\mathrm{const}$$

因此：

$${\mathcal{L}}_{\mathrm{VAE}\text{-}\mathrm{Recon}}(\varphi ,\theta )={\mathbb{E}}_{x\sim p_{\mathrm{data}},z\sim q_{\varphi }(z|x)}\left[\frac{1}{2{\sigma }_{\theta }^2}{\Vert x-{\mu }_{\theta }(z)\Vert }^2\right]$$

这说明 VAE 的重建损失本质上仍然类似标准自编码器的重建误差，只不过编码阶段从确定性映射变成了随机采样。

仅有重建损失仍然不够，因为它只要求能够重建图像，并不保证潜空间分布容易建模。我们希望编码后的潜变量分布接近一个简单先验分布，通常选择标准高斯：

$$p_{\mathrm{prior}}(z)=\mathcal{N}(0,I_k)$$

为了衡量两个分布之间的差异，我们引入 KL 散度（Kullback-Leibler divergence）。

对于两个概率密度 $q(x)$ 和 $p(x)$ ，KL 散度定义为：

$$D_{\mathrm{KL}}(q\Vert p)=\int q(x)\log \frac{q(x)}{p(x)}dx={\mathbb{E}}_{X\sim q}\left[\log \frac{q(X)}{p(X)}\right]$$

KL 散度可以理解为衡量分布 $q$ 与分布 $p$ 的差异程度。

它有两个重要性质：

• $D_{\mathrm{KL}}(q|p)\ge 0$
• $D_{\mathrm{KL}}(q|p)=0⟺q=p$

需要注意，KL 散度严格来说不是距离，因为它通常不对称即 $D_{\mathrm{KL}}(q|p)\ne D_{\mathrm{KL}}(p|q)$ ，但它仍然是衡量两个分布差异的常用工具。

在 VAE 中，我们希望每个数据点 $x$ 对应的编码分布 $q_{\varphi }(z|x)$ 接近标准高斯先验：

$$p_{\mathrm{prior}}(z)=\mathcal{N}(0,I_k)$$

因此定义先验正则项：

$${\mathcal{L}}_{\mathrm{VAE}\text{-}\mathrm{Prior}}(\varphi )={\mathbb{E}}_{x\sim p_{\mathrm{data}}}\left[D_{\mathrm{KL}}\left(q_{\varphi }(\cdot |x)\Vert p_{\mathrm{prior}}\right)\right]$$

这个损失的含义是：对于每个数据点 $x$ ，编码器给出的潜变量分布都应该尽量接近标准高斯。这样做可以让潜空间更加规整，避免标准自编码器中潜分布过于混乱的问题。

接下来，我们把 KL 散度具体化到两个高斯分布之间。

假设：

$$\begin{gathered} q(x)=\mathcal{N}(x;{\mu }_q,{\sigma }_q^2{I}_d) \\ p(x)=\mathcal{N}(x;{\mu }_p,{\sigma }_p^2{I}_d) \end{gathered}$$

那么它们之间的 KL 散度可以写成：

$$D_{\mathrm{KL}}(q|p)=\frac{1}{2}\left(\mathcal{K}\left(\frac{{\sigma }_q^2}{{\sigma }_p^2}\right)+\frac{\Vert {\mu }_q-{\mu }_p{\Vert }^2}{{\sigma }_p^2}\right)$$

其中：

$$\mathcal{K}(\alpha )=\sum _i\left({\alpha }_i-\log {\alpha }_i-1\right)$$

如果是一维情况，则是：

$$\mathcal{K}(\alpha )=\alpha -\log \alpha -1$$

这个函数在 $\alpha =1$ 时取得最小值 $0$ 。也就是说，当两个高斯分布的方差相同时，这一项最小。

因此，KL 散度中有两部分：

• 第一部分：$\mathcal{K}\left(\frac{{\sigma }_q^2}{{\sigma }_p^2}\right)$ ，衡量两个分布的方差差异。
• 第二部分：$\frac{\Vert {\mu }_q-{\mu }_p{\Vert }^2}{{\sigma }_p^2}$ ，衡量两个分布的均值差异。

这和直觉一致：两个高斯分布越相似，它们的均值和方差就应该越接近。

在 VAE 中，我们令先验分布为标准高斯：

$$p_{\mathrm{prior}}(z)=\mathcal{N}(0,I_k)$$

编码分布为：

$$q_{\varphi }(z|x)=\mathcal{N}\left(z;{\mu }_{\varphi }(x),\mathrm{diag}({\sigma }_{\varphi }^2(x))\right)$$

代入高斯 KL 公式，可以得到：

$${\mathcal{L}}_{\mathrm{VAE}\text{-}\mathrm{Prior}}(\varphi )={\mathbb{E}}_{x\sim p_{\mathrm{data}}}\left[D_{\mathrm{KL}}\left(q_{\varphi }(\cdot |x)\Vert \mathcal{N}(0,I_k)\right)\right]={\mathbb{E}}_{x\sim p_{\mathrm{data}}}\left[\frac{1}{2}\mathcal{K}\left({\sigma }_{\varphi }^2(x)\right)+\frac{1}{2}{\Vert {\mu }_{\varphi }(x)\Vert }^2\right]$$

这里的含义非常清楚：

• $\mathcal{K}({\sigma }_{\varphi }^2(x))$ 会鼓励编码分布的方差接近 $1$；
• $\Vert {\mu }_{\varphi }(x){\Vert }^2$ 会鼓励编码分布的均值接近 $0$。

也就是说，KL 项会让每个 $q_{\varphi }(z|x)$ 尽量接近标准高斯分布。

现在我们有两个目标。

第一个目标是 重建：编码后的潜变量应该保留足够信息，使解码器能够恢复原始图像。这由重建损失控制：

$${\mathcal{L}}_{\mathrm{VAE}\text{-}\mathrm{Recon}}(\varphi ,\theta )$$

第二个目标是 规整潜空间：编码分布应该接近标准高斯，使后续生成模型更容易学习。这由先验损失控制：

$${\mathcal{L}}_{\mathrm{VAE}\text{-}\mathrm{Prior}}(\varphi )$$

但是这两个目标存在张力。

如果只优化重建损失，模型可能得到一个很不规则的潜空间分布，后续扩散模型难以学习。如果只优化先验损失，最简单的解是：

$${\mu }_{\varphi }(x)=0,{\sigma }_{\varphi }(x)=1$$

也就是说，编码器完全忽略输入 $x$ ，始终输出标准高斯分布。这样潜空间当然很规整，但它不包含任何图像信息，无法重建原始图像。

因此，我们需要把两个损失结合起来。引入一个非负权重 $\beta$ ，定义 VAE 总损失：

$${\mathcal{L}}_{\mathrm{VAE}}(\varphi ,\theta )={\mathcal{L}}_{\mathrm{VAE}\text{-}\mathrm{Recon}}(\varphi ,\theta )+\beta {\mathcal{L}}_{\mathrm{VAE}\text{-}\mathrm{Prior}}(\varphi )$$

展开后可以写成：

$$\begin{array}{rl}{\mathcal{L}}_{\mathrm{VAE}}(\varphi ,\theta )& ={\mathcal{L}}_{\mathrm{VAE}\text{-}\mathrm{Recon}}(\varphi ,\theta )+\beta {\mathcal{L}}_{\mathrm{VAE}\text{-}\mathrm{Prior}}(\varphi )\\ & ={\mathbb{E}}_{x\sim p_{\mathrm{data}},z\sim q_{\varphi }(z|x)}[\underset{\text{recon. error}}{\underbrace{\frac{1}{2{\sigma }_{\theta }^2(z)}\Vert x-{\mu }_{\theta }(z){\Vert }^2}}+\underset{\text{make latent variance}=1}{\underbrace{\frac{\beta }{2}\mathcal{K}\left({\sigma }_{\varphi }^2(x)\right)}}+\underset{\text{make latent mean}=0}{\underbrace{\frac{\beta }{2}\Vert {\mu }_{\varphi }(x){\Vert }^2}}]\end{array}$$

这个公式就是 VAE 的核心训练目标。

其中， $\beta$ 控制重建质量和潜空间规整程度之间的权衡。如果 $\beta$ 太小，模型更关注重建，潜空间可能不够规整；如果 $\beta$ 太大，模型更关注让潜变量接近标准高斯，但可能损失太多图像信息，导致重建质量下降。因此， $\beta$ 的选择通常是一个经验问题，需要根据数据、模型结构和后续生成任务进行调节。

---

Q：这里说的 “潜空间好学” 到底是什么意思？

A：它不是一个特别严格的数学概念，而是指编码后的潜分布应该更适合后续生成模型学习。比如，潜分布最好相对平滑、连续、接近简单分布，而不是非常破碎、扭曲或者高度不规则。

如果潜空间分布很混乱，那么即使自编码器能重建图像，后续在潜空间中训练扩散模型仍然会很困难。因此，VAE 中的 KL 项就是为了让潜空间更规整。

Q：为什么不只优化 KL 项，让潜空间完全变成标准高斯？

A：因为这样会让编码器忽略输入数据。

如果只最小化：

$$D_{\mathrm{KL}}\left(q_{\varphi }(z|x)\Vert \mathcal{N}(0,I)\right)$$

最简单的做法就是令：

$$q_{\varphi }(z|x)=\mathcal{N}(0,I)$$

对所有 $x$ 都一样。这样潜空间确实非常接近标准高斯，但它不包含任何关于输入图像的信息，解码器无法重建原始图像。

所以 VAE 必须同时优化重建损失和先验损失。

Q：$\beta$ 应该怎么选？

A：$\beta$ 控制重建质量和潜空间规整程度之间的权衡。

如果 $\beta$ 较小，模型更重视重建，图像还原质量可能更好，但潜空间可能更不规则。

如果 $\beta$ 较大，潜空间会更接近标准高斯，但图像信息可能被压缩过度，导致重建变差。

因此，$\beta$ 没有一个通用最优值，通常需要根据数据集、模型容量和后续生成模型的训练效果来经验选择。

Q：VAE 会不会出现类似模式崩溃的问题？

A：有可能。VAE 中常见的相关问题包括 posterior collapse，也就是编码器输出的潜变量不再携带足够的输入信息，而是退化到接近先验分布。

这通常发生在 KL 项太强、解码器太强或者训练设置不合适时。因此，实际模型中常常会使用 KL annealing、loss clipping、调整 $\beta$ 等工程技巧来缓解这个问题。

---

到这里，我们已经写出了 VAE 的训练损失。不过还有一个实际训练问题：

损失中包含从编码分布中采样：

$$z\sim q_{\varphi }(z|x)$$

而这个分布本身依赖于参数 $\varphi$ ：

$$q_{\varphi }(z|x)=\mathcal{N}\left(z;{\mu }_{\varphi }(x),\mathrm{diag}({\sigma }_{\varphi }^2(x))\right)$$

如果直接对采样操作求梯度，会遇到问题。因为普通采样操作本身不是一个容易反向传播的确定性函数，不能简单地把它当作普通网络层来微分。

更准确地说，并不是 “从依赖 $\varphi$ 的分布中采样就绝对不能训练”，而是不能用普通的采样方式直接得到低方差、可反向传播的梯度估计。

因此，我们需要使用 重参数化技巧（reparameterization trick）。

5. Reparameterization Trick

前面我们已经定义了 VAE 的编码分布：

$$q_{\varphi }(z|x)=\mathcal{N}\left(z;{\mu }_{\varphi }(x),\mathrm{diag}({\sigma }_{\varphi }^2(x))\right)$$

也就是说，给定一个数据点 $x$ ，编码器输出两个量：

$${\mu }_{\varphi }(x),{\sigma }_{\varphi }^2(x)$$

它们分别表示潜变量分布的均值和方差。

现在的问题是，我们需要从这个分布中采样：

$$z\sim q_{\varphi }(\cdot |x)$$

但这个采样分布本身依赖于网络参数 $\varphi$ 。如果直接写成 “从 $q_{\varphi }(z|x)$ 中采样”，那么采样操作不容易直接放进标准反向传播框架中求梯度。

因此，我们需要使用 重参数化技巧（reparameterization trick）。

它利用高斯分布的一个简单性质：

$$ϵ\sim \mathcal{N}(0,I_k),z={\mu }_{\varphi }(x)+{\sigma }_{\varphi }(x)\odot ϵ\Rightarrow z\sim q_{\varphi }(\cdot |x)$$

标准高斯经过平移和缩放后，就得到具有指定均值和方差的高斯分布。

使用重参数化之后，VAE 的损失可以写成：

$${\mathcal{L}}_{\mathrm{VAE}}(\varphi ,\theta )={\mathbb{E}}_{x\sim p_{\mathrm{data}}(x),ϵ\sim \mathcal{N}(0,I_k)}[\frac{1}{2{\sigma }^2}{\Vert x-{\mu }_{\theta }\left({\mu }_{\varphi }(x)+{\sigma }_{\varphi }(x)\odot ϵ\right)\Vert }^2+\frac{\beta }{2}\mathcal{K}\left({\sigma }_{\varphi }^2(x)\right)+\frac{\beta }{2}\Vert {\mu }_{\varphi }(x){\Vert }^2]$$

这里需要注意一个关键点：损失函数本身当然仍然依赖于参数 $\varphi$ 和 $\theta$ ，但期望所依赖的随机变量分布已经不依赖于参数了。

也就是说，我们现在是在下面两个分布上取期望：

$$x\sim p_{\text{data}}(x),ϵ\sim \mathcal{N}(0,I_k)$$

这两个分布都不依赖于 $\varphi$ 或 $\theta$ 。参数只出现在被期望的函数内部，而这个函数由神经网络和普通可微运算组成，因此可以直接使用 PyTorch 等框架进行反向传播。

这就是重参数化技巧的本质：

将 “从依赖参数的分布中采样”，改写成 “从固定噪声分布中采样 + 可微变换”。

---

Q & A

Q：为什么我们希望潜变量分布接近正态分布？

A：不是重参数化技巧本身的要求，而是 VAE / 潜扩散模型整体设计的要求。

我们的最终目标不是单纯训练一个自编码器，而是先把图像编码到潜空间，再在潜空间中训练扩散模型或流模型。因此，我们希望编码后的潜空间分布比较规整、平滑、容易学习。

标准高斯分布 $\mathcal{N}(0,I)$ 是一个非常自然的选择。它结构简单、单峰、各向同性，而且负对数密度是一个凸二次函数。若潜空间分布接近高斯，那么后续在潜空间中学习生成模型会更容易。

Q：既然每个 $q_{\varphi }(z|x)$ 都是高斯分布，为什么整体潜分布还可能不是高斯？

A：因为单个样本对应的编码分布是高斯，不代表所有数据样本混合后的潜分布仍然是高斯。

整体潜分布可以写成：

$$q_{\varphi }(z)=\int q_{\varphi }(z|x)p_{\text{data}}(x)dx$$

这相当于是很多个高斯分布的混合。每个数据点 $x$ 都有自己的均值 ${\mu }_{\varphi }(x)$ 和方差 ${\sigma }_{\varphi }^2(x)$ ，这些高斯分布混合在一起后，整体分布可以非常复杂，甚至高度非高斯。

事实上，高斯混合模型本身就具有很强的表达能力，可以近似很多复杂分布。因此，虽然每个条件分布 $q_{\varphi }(z|x)$ 是高斯，边缘潜分布 $q_{\varphi }(z)$ 仍然可能非常复杂。

VAE 中的 KL 正则项正是为了约束这些条件高斯分布不要过于散乱，使整体潜空间更规整。

---

有了重参数化技巧之后，VAE 就可以像普通神经网络一样训练。

训练过程可以概括为：

给定一个 mini-batch：

$${x_i}_{i=1}^B$$

首先用编码器分别预测每个样本的潜变量均值和对数方差：

$${\mu }_i={\mu }_{\varphi }(x_i),\log {\sigma }_i^2=\log {\sigma }_{\varphi }^2(x_i)$$

然后从标准高斯中采样噪声：

$${ϵ}_i\sim \mathcal{N}(0,I_k)$$

再通过重参数化得到潜变量：

$$z_i={\mu }_i+{\sigma }_i\odot {ϵ}_i$$

接着用解码器重建图像：

$${\hat{x}}_i={\mu }_{\theta }(z_i)$$

重建损失为：

$${\mathcal{L}}_{\mathrm{recon}}=\frac{1}{B}\sum _{i=1}^B\frac{1}{2{\sigma }^2}{\left|x_i-{\hat{x}}_i\right|}^2$$

KL 损失为：

$${\mathcal{L}}_{\mathrm{KL}}=\frac{1}{B}\sum _{i=1}^B\frac{1}{2}\sum _{j=1}^k\left({\mu }_{i,j}^2+{\sigma }_{i,j}^2-\log {\sigma }_{i,j}^2-1\right)$$

总损失为：

$$\mathcal{L}={\mathcal{L}}_{\mathrm{recon}}+\beta {\mathcal{L}}_{\mathrm{KL}}$$

然后对编码器参数 $\varphi$ 和解码器参数 $\theta$ 做梯度更新。

这个算法实际上就是把前面推导的 VAE 损失变成了可实现的训练流程。它的关键步骤是第 4 步：

$$z_i={\mu }_i+{\sigma }_i\odot {ϵ}_i$$

也就是重参数化。如果没有这一步，采样过程就不容易直接用普通反向传播训练。

这和强化学习中的 REINFORCE 有一点类似：REINFORCE 也处理 “期望中的分布依赖参数” 的问题，但它通常使用 score-function estimator，方差较大。而 VAE 中由于高斯分布可以重参数化，所以我们可以使用更高效的路径梯度方法。

---

Q & A

Q：为什么原来的损失不能直接反向传播？

A：更准确地说，不是 “计算上完全不能反向传播”，而是如果直接把采样过程当作普通操作处理，就得不到正确的、低方差的梯度估计。

原来的形式中有：

$$z\sim q_{\varphi }(z|x)$$

而 $q_{\varphi }$ 依赖于参数 $\varphi$ 。如果直接采样 $z$ ，采样结果本身会随着 $\varphi$ 的变化而变化。这个依赖关系不是普通确定性计算图能够自然表达的。

重参数化技巧把它改写成：

$$z={\mu }_{\varphi }(x)+{\sigma }_{\varphi }(x)\odot ϵ,ϵ\sim \mathcal{N}(0,I)$$

这样随机性只来自 $ϵ$ ，而 $ϵ$ 不依赖于参数。于是 $z$ 变成了关于 $\varphi$ 的确定性可微函数，因此可以通过普通反向传播计算梯度。

Q：如果直接从 $q_{\varphi }(z|x)$ 采样，就一定没有办法训练吗？

A：不是绝对不能训练。理论上，还有其他梯度估计方法，例如 score-function estimator，也就是强化学习中常见的 REINFORCE 类方法。

但是这类方法通常方差较大，训练效率较低。VAE 中使用的重参数化技巧是一种更直接、更稳定、更高效的方式。它几乎只是对高斯采样过程的一种等价改写，没有额外信息损失，也几乎没有额外计算成本。

Q：重参数化技巧会不会改变原来的分布？

A：不会。

因为：

$$ϵ\sim \mathcal{N}(0,I)$$

经过：

$$z={\mu }_{\varphi }(x)+{\sigma }_{\varphi }(x)\odot ϵ$$

之后， $z$ 的分布正好就是：

$$\mathcal{N}\left({\mu }_{\varphi }(x),\mathrm{diag}({\sigma }_{\varphi }^2(x))\right)$$

也就是说，重参数化只是改变了采样的表达方式，并没有改变采样分布本身。

---

6. Latent Diffusion Models (LDMs) - Recipe

接下来，我们把 VAE 和扩散模型结合起来，就得到 潜扩散模型（Latent Diffusion Models, LDMs）。

LDM 的流程非常清晰。

第一步，准备训练数据：

$$x_1,\dots ,x_N$$

例如大规模图像数据集。

第二步，用已经训练好的 VAE 编码器把所有图像转换为潜变量。对于 VAE 来说，通常可以直接取编码分布的均值作为潜表示：

$$z_i={\mu }_{\varphi }(x_i)$$

第三步，得到潜变量数据集：

$$z_1,\dots ,z_N$$

这个数据集的维度远小于原始高分辨率图像。

第四步，在潜变量数据集上训练扩散模型或流模型。也就是说，现在生成模型不再直接生成像素图像，而是生成潜变量：

$$z\sim p_{\mathrm{latent}}$$

第五步，采样完成后，用 VAE 解码器把生成的潜变量映射回图像空间：

$$\hat{x}={\mu }_{\theta }(z)$$

最终返回解码后的图像作为生成结果。

所以 LDM 的整体流程可以概括为：

$$\text{image}\to \text{latent}\to \text{diffusion in latent space}\to \text{generated latent}\to \text{decoded image}$$

这和前面讲过的扩散模型流程本质上是一样的，只是训练数据从原始图像变成了 VAE 编码后的潜变量。也就是说潜扩散模型并没有改变扩散模型的基本训练方法，而是改变了扩散模型所建模的数据空间。

---

Q & A

Q：使用潜空间会不会存在信息损失？

A：会存在信息损失，因为 VAE 本质上是压缩模型，压缩就不可能完全无损。

但关键问题不是 “有没有信息损失”，而是 “损失的信息是否重要”。

在图像生成任务中，如果自编码器训练得很好，编码再解码后的图像与原图之间的差异通常非常小，很多时候肉眼几乎察觉不到。因此，对生成任务来说，这种信息损失通常是可以接受的。

但是，这也说明自编码器非常重要。潜扩散模型的效果不仅取决于扩散模型本身，也高度依赖 VAE 的质量。如果 VAE 丢失了重要结构、纹理或语义信息，那么后续扩散模型即使学得很好，也只能在一个已经损失信息的潜空间中生成样本。

---

潜扩散模型的核心优势是显著降低计算成本。

例如，在 Stable Diffusion 中，原始图像形状可能是 $[3,256,256]$ ，经过 VAE 编码后变成 $[4,32,32]$ 。原始图像维度是 $3\times 256\times 256=196,608$ ，潜变量维度是 $4\times 32\times 32=4,096$ ，压缩比例大约是 $48\times$ ，这意味着扩散模型不需要在 196,608 维像素空间中建模，而是在 4,096 维潜空间中建模，计算量和显存压力都会大幅降低。

再比如 FLUX 2.0 中，图像形状可能从 $[3,1024,1024]$ 压缩到 $[32,64,64]$ ，这同样显著降低了生成模型需要处理的空间维度。这也是为什么现代图像和视频生成模型几乎都会在潜空间中生成，而不是直接在像素空间中生成。

当然，潜空间生成也有一个前提：VAE 必须足够好。如果自编码器压缩时丢失了重要信息，那么扩散模型即使在潜空间中生成得很好，最终解码回图像时也可能出现质量损失。

因此，实际的大规模图像生成系统中，自编码器本身也是非常关键的组件。

7. Neural Network Architectures

前面我们讨论了“在哪个空间中生成”，也就是从像素空间转向潜空间。

接下来要讨论的是另一个关键问题：

如何用神经网络参数化向量场？

在前面的理论中，我们一直写：

$$u_t^{\theta }(x|y)$$

这里：

• $\theta$ 是神经网络参数；
• $t$ 是时间；
• $x$ 是当前的带噪样本，在 LDM 中通常是潜图像；
• $y$ 是 prompt；
• 输出 $u_t^{\theta }(x|y)$ 是一个和 $x$ 形状相同的向量场。

也就是说，网络需要完成的任务是：

输入时间、潜图像和文本条件，输出一个与潜图像同形状的速度场或噪声预测。

例如，如果潜图像的形状是 $[4,32,32]$ ，那么网络输出也应该是 $[4,32,32]$ ，这就要求网络既能处理图像结构，又能处理时间信息，还能处理文本 prompt。

对于现代图像生成模型，一个常见选择是使用 Transformer 类架构，尤其是 Diffusion Transformer（DiT）。

在进入 DiT 之前，需要先讨论三个输入分别如何编码：

1. 时间如何编码；

2. 文本 prompt 如何编码；

3. 图像或潜变量如何编码成 Transformer 可以处理的形式。

我们一个个来看，先看时间：

时间 $t$ 是一个一维标量。但是神经网络中的其他输入通常是高维向量或向量序列。如果直接把一个标量 $t$ 输入网络，它的表达能力可能不够。因此，我们通常会把时间编码成一个高维向量。

一种常见做法是使用正弦位置编码：

$$\mathrm{TimeEmb}(t)=\frac{1}{\sqrt{d}}{\left[\cos (2\pi w_{1}t),\dots ,\cos (2\pi w_{d/2}t),\sin (2\pi w_{1}t),\dots ,\sin (2\pi w_{d/2}t)\right]}^T$$

其中频率 $w_i$ 通常按几何级数选取：

$$w_i=w_{\min }{\left(\frac{w_{\max }}{w_{\min }}\right)}^{\frac{i-1}{d/2-1}},i=1,\dots ,d/2$$

这样，一个标量时间 $t$ 就被映射成了一个 $d$ 维向量。

这种编码的具体形式并不是最重要的。关键是：

时间需要被提升到高维表示中，使网络能够更容易感知不同时间步之间的差异。

在扩散模型中，时间非常重要，因为不同时间步对应不同噪声水平，网络在不同时间下需要做的事情也不同。

接下来是 prompt 的编码：

例如 prompt 是：

A dog running on grass in a park at sunshine in an Italian city.

神经网络不能直接处理原始字符串，因此需要先把文本转换成向量表示。

现代文本到图像生成模型通常使用预训练语言模型或视觉语言模型来编码文本，例如：

• CLIP text encoder；
• T5 encoder；
• 其他大语言模型 embedding。

这些模型会把原始 prompt 转换成一组文本 token 的向量表示。

如果 prompt 被分成 $S$ 个 token，每个 token 的 embedding 维度是 $k$，那么 prompt embedding 可以写成：

$$\mathrm{PromptEmb}(y_{\mathrm{raw}})\in {\mathbb{R}}^{S\times k}$$

也就是说，prompt 最终变成了一个长度为 $S$ 的向量序列。

这一点非常重要，因为 Transformer 天然适合处理序列数据。文本 prompt 本来就是序列，经过 embedding 后就可以作为后续交叉注意力模块的输入。

接下来需要处理图像或潜图像：

图像通常具有形状：

$$x\in {\mathbb{R}}^{C\times H\times W}$$

它不是一个普通的一维序列，而是具有通道、高度和宽度的三维张量。

为了让 Transformer 处理图像，我们通常会把图像切分成多个 patch，然后把每个 patch 展平成一个向量。这个过程称为 patchify：

$$\tilde{x}=\mathrm{Patchify}(x)\in {\mathbb{R}}^{L\times k}$$

其中：

• $L$ 是 patch 数量，也就是序列长度；
• $k$ 是每个 patch embedding 的维度。

这样，图像就被转换成了一个向量序列，可以输入 Transformer。

需要注意的是，在潜扩散模型中，我们处理的往往不是原始像素图像，而是 VAE 编码后的潜变量。但是潜变量通常仍然保留类似图像的形状，例如：

$$[4,32,32]$$

它仍然有通道、高度和宽度。因此，我们仍然可以对潜变量进行 patchify，把它转换成向量序列。

有了时间 embedding、prompt embedding 和图像 patch embedding 后，就可以构建扩散模型中的 Transformer 架构。

这种架构通常称为 Diffusion Transformer（DiT）。

DiT 的核心思想是：

使用 Transformer 来参数化扩散模型中的向量场或噪声预测网络。

也就是说，我们不再使用传统 U-Net，而是使用 Transformer 来处理潜图像 token，并结合时间和文本条件输出预测结果。

DiT 的整体流程可以概括为三步：

第一步，构造输入。

时间被编码成向量：

$$\tilde{t}=\mathrm{TimeEmb}(t)\in {\mathbb{R}}^k$$

prompt 被编码成文本 token 序列：

$$\tilde{y}=\mathrm{PromptEmb}(y)\in {\mathbb{R}}^{S\times k}$$

图像或潜图像被 patchify 成图像 token 序列：

$${\tilde{x}}_0=\mathrm{PatchEmb}(x)\in {\mathbb{R}}^{N\times k}$$

这里 $N$ 表示图像 patch token 的数量。

第二步，经过多个 DiTBlock。

每个 DiTBlock 接收当前图像 token、时间 embedding 和 prompt embedding：

$${\tilde{x}}_{i+1}=\mathrm{DiTBlock}({\tilde{x}}_i,\tilde{t},\tilde{y})\in {\mathbb{R}}^{N\times k}$$

经过多层迭代后，得到最终图像 token：

$${\tilde{x}}_N$$

第三步，unpatchify。

Transformer 输出仍然是一个 token 序列，需要把它重新还原成图像或潜图像的形状：

$$u=\mathrm{Unpatchify}({\tilde{x}}_{N}W)\in {\mathbb{R}}^{C\times H\times W}$$

最终输出 $u$ 就是模型预测的向量场、噪声或 velocity，形状与输入 $x$ 相同。

为了理解 DiTBlock，需要先回顾 Transformer 中最核心的操作：scaled dot-product attention。

给定 queries、keys 和 values：

$$Q\in {\mathbb{R}}^{N\times d_h},K\in {\mathbb{R}}^{M\times d_h},V\in {\mathbb{R}}^{M\times d_h}$$

注意力操作定义为：

$$\mathrm{Attn}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^T}{\sqrt{d_h}}\right)V\in {\mathbb{R}}^{N\times d_h}$$

其中 softmax 按行进行。

这个公式可以这样理解：

• $Q{K}^T$ 计算 query 与 key 之间的相似度；
• 除以 $\sqrt{d_h}$ 是为了避免内积尺度过大；
• softmax 将相似度转成权重；
• 最后用这些权重对 value 做加权求和。

因此，attention 本质上是一个：

把一个向量序列映射到另一个向量序列的操作。

它的三个输入分别是：

1. Queries；
2. Keys；
3. Values。

在不同场景中，$Q,K,V$ 可以来自同一个序列，也可以来自不同序列。

DiTBlock 的作用是把图像 token、文本 token 和时间信息结合起来。

一个典型 DiTBlock 可以包含三类机制。

第一类是 self-attention，用于处理图像自身信息。

在图像 self-attention 中：

$$Q=\text{image tokens},K=\text{image tokens},V=\text{image tokens}$$

也就是说，图像 token 之间彼此交互，让模型能够建模图像不同区域之间的关系。

第二类是 cross-attention，用于引入文本 prompt 信息。

在文本 cross-attention 中：

$$Q=\text{image tokens},K=\text{text embeddings},V=\text{text embeddings}$$

这表示图像 token 会去 “关注” 文本 token，从而把 prompt 信息注入图像生成过程。

例如，prompt 中包含 “dog”、“grass”、“sunshine” 等语义时，图像 token 可以通过 cross-attention 获得这些语义条件，从而生成符合文本描述的内容。

第三类是 adaptive layer normalization，用于引入时间信息。

时间 $t$ 通常不会像图像和文本一样直接作为 token 序列输入，而是通过自适应归一化影响网络。具体来说，layer normalization 后的缩放和偏移参数可以由时间 embedding 决定。

直观地说：

时间 embedding 会调节网络在不同噪声水平下的行为。

因为扩散模型在不同时间步面临的任务不同：早期可能需要处理强噪声，后期则需要恢复细节。因此时间条件必须影响整个网络的计算。

在实际模型中，自注意力、交叉注意力、前馈网络、时间调制等模块通常通过残差连接组合起来。

因此，一个 DiTBlock 可以粗略理解为：

1. 用 self-attention 处理图像 token 自身关系；

2. 用 cross-attention 将文本 prompt 信息注入图像 token；

3. 用 adaptive layer normalization 将时间信息注入网络；

4. 通过残差连接和 MLP 更新 token 表示。

当然，真实模型中会有很多工程细节，例如 multi-head attention、MLP block、LayerNorm 位置、残差缩放、条件注入方式等。不同模型会有不同变体。

但这里我们的核心目的是建立简单的整体图景：

DiT 是一种把图像 latent、时间和 prompt 都变成可处理向量表示，然后通过 Transformer block 学习生成向量场的架构。

正如课程中强调的，理解 Transformer 最好的方式不是只看公式，而是亲手实现。Lab 03 会进一步帮助理解这些模块。

8. Large-scale Diffusion Models

前面我们已经介绍了构建大规模图像生成模型所需的两个关键组件：

第一是 潜空间建模。通过 VAE 或类似自编码器，把高维像素图像压缩到更低维的 latent space 中，再在潜空间中训练生成模型。

第二是 神经网络架构。通过 DiT 或其变体，用 Transformer 来参数化扩散模型或流匹配模型中的向量场。

现在我们可以把这些组件放到真实大模型中看一看。

Stable Diffusion 3 是一个典型的现代文本到图像生成模型：

从这张 slide 中可以看到，Stable Diffusion 3 的整体设计几乎完整对应了前面几讲的内容。

首先，它使用的是 Flow Matching，并且采用类似 “straight line” 的调度方式，也就是 CondOT path。这类路径可以写成：

$$x_t=tz+(1-t)ϵ$$

其中：

• $ϵ$ 表示初始噪声；
• $z$ 表示数据样本；
• $t=0$ 时是噪声；
• $t=1$ 时是数据。

对应的目标速度场是：

$$u_t^{\mathrm{target}}(x|z)=z-ϵ$$

也就是说，模型要学习如何把噪声沿着一条相对直接的路径推向数据。

其次，Stable Diffusion 3 使用了 classifier-free guidance。在训练时，模型会以一定概率丢弃 prompt，让同一个模型同时学习有条件生成和无条件生成。采样时再通过 guidance scale 放大 prompt 相关的方向，从而增强图像与文本提示之间的匹配程度，CFG 的权重大约在 $w\in [2.0,5.0]$ 这个范围内。

再次，Stable Diffusion 3 是在 latent space 中做 Flow Matching，而不是直接在像素空间中做。这一点非常关键。它使用预训练 VAE 把图像压缩为 latent，然后在 latent 上训练流匹配模型。采样得到 latent 后，再通过 VAE decoder 解码成图像。

所以它的整体流程可以写成：

$$\text{image}\to \text{latent}\to \text{flow matching in latent space}\to \text{generated latent}\to \text{decoded image}$$

此外，Stable Diffusion 3 的模型规模非常大，slide 中提到其参数量约为 $8\text{ billion}$ ，采样时大约使用 $50$ 个模拟步或采样步。

这也说明，即便有潜空间压缩，现代图像生成模型依然是非常庞大的系统工程。它不仅依赖算法本身，还依赖大规模数据、大规模模型和大规模训练基础设施。

Stable Diffusion 3 的核心网络架构是 MM-DiT，也就是 Multimodal Diffusion Transformer。

普通 DiT 的基本思想是：把图像或 latent image 切成 patch token，然后用 Transformer 处理这些 token，并通过时间 embedding 和条件信息调节网络。

Stable Diffusion 3 在这个基础上进一步扩展为多模态结构。

它的文本条件来自两类 text encoder：

1. CLIP：提供较粗粒度的图文语义对齐信息；
2. T5-XXL：提供更强的序列级语言理解能力。

也就是说，模型并不是只用一个简单的文本向量来表示 prompt，而是结合了不同类型的文本 embedding。

在 MM-DiT 中，文本 token 和图像 token 会在网络中被联合处理。相比传统的 “图像 token 通过 cross-attention 去读取文本 token” 的方式，MM-DiT 更强调让文本和图像在整个网络内部持续交互。

可以把它理解为：

Stable Diffusion 3 不只是把 prompt 当作一个额外条件，而是把文本和图像都放进多模态 Transformer 结构中共同建模。

这样做的目的，是让模型在生成过程中更充分地利用文本信息，尤其是在复杂 prompt、多对象关系、文字生成和空间布局等场景中提升表现。

接下来是视频生成模型的例子：Meta MovieGen。

MovieGen 和 Stable Diffusion 3 在整体思想上非常相似。

它同样使用：

• Flow Matching；
• straight-line scheduler / CondOT path；
• classifier-free guidance；
• latent space generation；
• Diffusion Transformer 类架构。

但视频生成相比图像生成有一个额外难点：视频多了时间维度。

这里要特别区分两种 “时间”。

第一种是生成模型中的时间 $t$ ，也就是 Flow Matching 或 Diffusion 中从噪声到数据的连续时间变量。这个时间是生成过程的时间。

第二种是视频本身的时间维度，也就是 frame dimension。它表示视频中的第 1 帧、第 2 帧、第 3 帧等。

这两个时间不是同一个概念。

对于图像来说，latent 通常是 $z\in {\mathbb{R}}^{C\times H\times W}$ ，而对于视频来说，latent 可能变成 $z\in {\mathbb{R}}^{C\times T\times H\times W}$ ，其中 $T$ 是视频帧数。因此，视频生成模型不仅要生成每一帧的空间内容，还要保证帧与帧之间的时间一致性。这包括：

• 物体运动要连续；
• 场景变化要合理；
• 角色外观不能闪烁；
• camera motion 要自然；
• 长视频中前后语义要保持一致。

这使得视频生成比图像生成更困难。

从网络结构上看，如果图像模型做的是 2D patchify，那么视频模型往往需要扩展到 3D patchify，也就是同时在时间、高度和宽度三个方向上切 patch。

图像 patch 可以理解为 $H\times W$ 上的小块，而视频 patch 则可以理解为 $T\times H\times W$ 上的小块。因此，视频版 DiT 必须处理时空 token，而不只是空间 token。

MovieGen 的规模也非常大。slide 中提到它约有 $30\text{ billion}$ 参数，并使用了 $6144$ 块 H100 GPU 进行训练。这说明大规模视频生成不仅是算法问题，也是极其昂贵的工程和算力问题。

9. A Guide to the Diffusion Literature

最后，我们简要介绍下扩散模型文献中常见的几种不同表述方式。这些表述方式看起来不同，但在很多核心场景下，它们其实描述的是相似的问题。

扩散模型文献中首先容易混淆的是 时间约定。

在这门课的 Flow Matching 约定中：$t=0$ 表示噪声分布 $p_{\mathrm{init}}$ ，而 $t=1$ 表示数据分布 $p_{\mathrm{data}}$ 。也就是说，采样过程是 $\text{noise}\to \text{data}$ ，这可以称为 flow time convention。

但在很多 score-based diffusion 或传统扩散模型文献中，时间约定通常相反：$t=0$ 表示数据，而当 $t\to \infty$ 或 $t$ 变大时，数据逐渐变成噪声。也就是说，forward diffusion 是 $\text{data}\to \text{noise}$ ，而采样时再反过来 $\text{noise}\to \text{data}$ ，这可以称为 diffusion time convention。

此外，还有一些模型采用离散时间，而不是连续时间。例如 DDPM 通常使用离散 Markov chain 来描述加噪和去噪过程；DDIM 则可以看作与 probability flow ODE 有密切关系的确定性采样过程。

所以，当阅读扩散模型论文时，一定要先弄清楚作者采用的是哪种时间约定。否则很容易把 $t=0$ 、 $t=1$ 、噪声端和数据端弄反。

扩散模型的另一个核心问题是：

如何把数据逐渐破坏成噪声？

在这门课中，我们主要使用 probability path 的方式描述这个过程。

例如高斯概率路径：

$$p_t(x|z)=\mathcal{N}\left({\alpha }_{t}z,{\beta }_t^2{I}_d\right)$$

它表示：给定一个数据点 $z$ ，在时间 $t$ 上构造一个以 ${\alpha }_{t}z$ 为均值、以 ${\beta }_t^2{I}_d$ 为协方差的高斯分布。

如果使用噪声采样形式，可以写成：

$$x_t={\alpha }_{t}z+{\beta }_tϵ,ϵ\sim \mathcal{N}(0,I_d)$$

除了 probability path，还有另外两种常见表述。

第一种是 stochastic interpolant。它直接定义一个插值函数，把噪声和数据连接起来：

$$I_t(ϵ,z)$$

第二种是 forward diffusion process。它通过一个 SDE 描述如何逐步给数据加噪：

$$d{X}_t=a_t(X_t)dt+{\sigma }_{t}d{W}_t$$

这三种形式看起来不同：

1. probability path；
2. stochastic interpolant；
3. forward diffusion SDE；

但在高斯设定下，它们通常可以相互转换，描述的是同一类从数据到噪声或从噪声到数据的路径构造方式。因此，不同论文可能使用不同语言，但核心问题往往是一样的：

如何构造一个连接噪声分布和数据分布的路径。

很多介绍扩散模型的文章都会展示一张经典图：forward SDE 把数据变成噪声，reverse SDE 再把噪声变回数据。

forward SDE 可以写成：

$$dx=f(x,t)dt+g(t)dw$$

它表示从数据出发，随着时间推进不断加入噪声，最终得到接近纯噪声的样本。

对应的 reverse SDE 可以写成：

$$dx=\left[f(x,t)-g^2(t){\nabla }_x\log p_t(x)\right]dt+g(t)d\bar{w}$$

其中 ${\nabla }_x\log p_t(x)$ 就是 score function。

这个公式说明，如果我们知道每个时刻的 score function，就可以构造反向 SDE，从噪声一步步采样回数据。

这也是早期 score-based diffusion models 的核心视角：

学习 score function，然后用它构造反向去噪过程。

而在这门课中，我们已经看到，至少对于高斯概率路径，score function 和 vector field 之间可以互相转换。也就是说，学习 score 和学习向量场并不是完全割裂的两件事。在很多设定下，它们只是同一个生成动力学的两种参数化方式。

我们在课程中主要采用 Flow Matching 的视角，是因为它非常简洁。

Flow Matching 的优势在于：

第一，它可以只讨论 ODE 和向量场，不必一开始就引入完整的 SDE 理论。

第二，它的训练目标非常直接：学习一个速度场，使样本沿着概率路径从初始分布移动到目标数据分布。

第三，它允许我们从任意初始分布 $p_{\mathrm{init}}$ 变换到任意目标分布 $p_{\mathrm{data}}$ ，也就是说，初始分布不一定非要是标准高斯。

在前面的例子中，我们经常使用高斯噪声，是因为它简单、方便、易于分析。但 Flow Matching 框架本身并不要求初始分布必须是高斯。

因此，Flow Matching 可以被理解为一种更一般的分布桥接方法：

$$p_{\mathrm{init}}\to p_{\mathrm{data}}$$

Flow Matching 的一个重要特点是，它可以用于连接任意分布。

这不仅适用于从纯噪声生成图像，也适用于很多更一般的任务，例如：

• 无音频视频 $\to$ 有音频视频；
• 低分辨率图像 $\to$ 高分辨率图像；
• 未扰动细胞状态 $\to$ 扰动后细胞状态；
• 局部缺失图像 $\to$ 完整图像；
• 草图 $\to$ 真实图像；
• 某种模态 $\to$ 另一种模态。

从这个角度看，生成模型不只是 “从噪声生成图片”，而是可以被理解为：

学习一个从源分布到目标分布的动态变换过程。

这也是 Flow Matching 框架非常吸引人的地方。它把生成建模、图像修复、超分辨率、条件生成、多模态转换等任务都放在了同一个数学框架下。

---

Q & A

Q：无分类器引导（CFG）中丢弃 Prompt 的概率如何选择？

在 CFG 训练中，模型会以一定概率把条件 $y$ 替换为空条件 $\varnothing$ 。这样模型既能学习 $u_t^{\theta }(x|y)$ 也能学习 $u_t^{\theta }(x|\varnothing )$ 。采样时再构造加权向量场：

$$u_t^{\theta ,w}(x|y)=(1-w)u_t^{\theta }(x|\varnothing )+w{u}_t^{\theta }(x|y)$$

如果训练时总是丢弃 prompt，那么模型几乎学不到有条件生成。如果训练时从不丢弃 prompt，那么模型又学不到无条件分支 $u_t^{\theta }(x|\varnothing )$ ，这样采样时 CFG 就无法正常工作。

因此，丢弃概率需要在两者之间折中。经验上，很多模型会选择大约 20% 的概率丢弃条件。这不是严格理论推导出的最优值，而是一个实践中常用且有效的经验设置。

---

下次课会有一节关于离散扩散模型的补充内容。我们平时使用的 ChatGPT 等大语言模型，其实也能基于扩散模型的原理来构建，这类方法就叫离散扩散模型，届时我们会详细讲解。

结语

本讲围绕 Latent Spaces 与 Neural Network Architectures，系统性地补全了现代大规模生成模型从理论到工程落地的关键拼图 。

首先，在 latent space 部分，我们明确了高维像素空间在生成建模中的根本困难：维度过高、计算成本极大、冗余信息严重，使得直接学习向量场 $u_t^{\theta }:{\mathbb{R}}^d\to {\mathbb{R}}^d$ 在工程上几乎不可扩展。因此，引入 VAE / autoencoder 的核心目的，不只是压缩数据，而是将生成建模问题转移到一个更低维、更结构化的潜空间中。

随后，我们分析了标准 autoencoder 与 VAE 的差异：Autoencoder 关注重建能力，但不约束 latent 分布结构；VAE 通过 KL 正则项，将潜变量分布约束到标准高斯附近，从而使 latent space 更 “规整”、更适合后续 flow / diffusion modeling

接着，在 VAE reparameterization trick 中，我们将随机采样转化为可微路径：$z={\mu }_{\varphi }(x)+{\sigma }_{\varphi }(x)\odot ϵ$ ，从而使得整个生成过程可以在标准反向传播框架中稳定训练。这一步本质上将 “随机变量依赖参数” 的问题转化为 “确定性函数 + 外部噪声”，是现代生成模型训练的基础技巧之一。

最后，在 Neural Network Architectures 部分，我们讨论了如何用 Transformer 实现生成模型的参数化，从而得到 DiT（Diffusion Transformer）范式。

下一讲我们将重点讨论离散扩散模型相关的内容，敬请期待🤗

参考

• https://diffusion.csail.mit.edu/