Wan（通义万相）：大规模视频生成基础模型 — 技术深度解析 & Wan2.1 vs Wan2.2对比

周熙钦（Alpha）

389人浏览 · 2026-06-15 20:12:43

周熙钦（Alpha） · 2026-06-15 20:12:43 发布

前言：

今天主要想解读一下通义实验室的wan2.1和2.2，现有具身智能基于世界模型+动作模型范式的backbone基本上都是选的这款模型，我们来看看他到底有什么魔力，我前面解读几个著作都是用的这个。

论文：Wan: Open and Advanced Large-Scale Video Generative Models
arXiv：https://arxiv.org/abs/2503.20314
项目主页：https://wan.video / https://seed.bytedance.com/gr_rl（通用）
团队：阿里巴巴通义实验室
开源协议：Apache 2.0

一、研究背景与动机

1.1 开源视频生成面临的三大问题

问题	描述
性能差距	开源模型与闭源（Sora、Kling、Veo2等）差距显著
应用场景有限	多数仅支持文生视频，缺乏编辑、个性化、音频等下游能力
效率低下	大模型资源需求极高，普通开发者难以部署使用

1.2 Wan的定位

Wan的目标是构建全面、领先、高效、开放的视频基础模型套件：

领先性能：14B模型在数十亿图像/视频上训练，展示Scaling Law
全面性：覆盖T2V、I2V、视频编辑、个性化生成等8大任务
消费级效率：1.3B模型仅需8.19GB VRAM
开放性：全系列代码+权重开源
首创：首个支持中英文视觉文本生成的视频模型

二、Wan2.1 核心架构

2.1 整体架构：三模块协同

在这里插入图片描述

输入文本 ─→ [umT5文本编码器] ─→ 文本嵌入
                                       ↓
输入视频 ─→ [Wan-VAE编码器] ─→ 潜变量 x ─→ [视频DiT] ─→ 去噪潜变量 ─→ [Wan-VAE解码器] ─→ 输出视频
                                       ↑
                              时间步 t (Flow Matching)

2.2 Wan-VAE：3D因果变分自编码器

Wan-VAE是Wan最核心的架构创新之一，解决视频VAE三大挑战：
在这里插入图片描述

挑战	解决方案
时空依赖复杂	时空解耦设计：浅层压缩时间，深层专注空间
高维显存爆炸	分块处理(Chunking) + O(1)恒定显存机制
因果性约束	带"状态交接"的因果3D卷积

压缩规格：

版本	时空压缩比	通道数	总压缩倍率
Wan2.1 VAE	4×8 (时间4×, 空间8×)	16	128×
Wan2.2 VAE（高压缩）	4×16×16	48	1024×

Wan2.1 VAE编码过程：

输入视频 $\in \mathbb{R}^{(1+T) \times H \times W \times 3}$ ，编码为潜变量：

$\in \mathbb{R}^{16 \times (1+T/4) \times H/8 \times W/8}$

Wan2.2 高压缩VAE（用于TI2V-5B）：

Patchify：patch_size=(1,2,2)，对空间2×2打patch
dim_mult=[1,2,4,4]，temperal_downsample=[True,True,False]
时间下采样4×，空间下采样8×，加上patchify 2× → 16×16×4 = 1024倍压缩
通道扩展至48以补偿信息损失

设计原理：

第一帧仅空间压缩（遵循MagViT-v2），兼容图像生成
GroupNorm→RMSNorm替换：保持时间因果性的关键——GroupNorm统计量依赖全局帧，RMSNorm每帧独立
所有GroupNorm→RMSNorm后，才能实现特征缓存（Feature Cache），推理时显存O(1)
空间上采样层通道减半：推理内存再降33%

编码公式：

$μ,log⁡σ2=Encoder3D(V)\mu, \log\sigma^2 = \text{Encoder}_{3D}(V)$

$\mu + \sigma \cdot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$

$z^=(μ−scale[0])×scale[1]\hat{z} = (\mu - \text{scale}[0]) \times \text{scale}[1]$

其中scale[0]=全局均值，scale[1]=全局标准差，训练时用EMA统计，推理时归一化到 $N(0,1)\mathcal{N}(0,1)$ 。

2.3 Wan-VAE训练：三阶段

阶段	数据	目的
1	2D图像	训练同结构2D图像VAE
2	低分辨率视频(128×128, 5帧)	扩展为3D因果VAE，提供空间压缩先验
3	高分辨率高质量视频	微调，加入3D GAN判别器损失

训练损失：

$LVAE=λ1L1+λ2LKL+λ3LLPIPS+λ4LGAN\mathcal{L}_{\text{VAE}} = \lambda_1 \mathcal{L}_1 + \lambda_2 \mathcal{L}_{\text{KL}} + \lambda_3 \mathcal{L}_{\text{LPIPS}} + \lambda_4 \mathcal{L}_{\text{GAN}}$

损失项	权重	说明
$L1\mathcal{L}_1$ （重构）	3	像素级L1距离
$LKL\mathcal{L}_{\text{KL}}$ （KL散度）	3e-6	约束潜变量分布接近标准正态
$LLPIPS\mathcal{L}_{\text{LPIPS}}$ （感知）	3	感知相似度损失
$LGAN\mathcal{L}_{\text{GAN}}$ （对抗）	—	第3阶段加入3D判别器

设计原理：KL权重极小(3e-6)，优先保证重建质量，与SD系列的策略一致——过强的KL约束会损害VAE重建保真度。

2.4 Wan-VAE高效推理：分块+缓存

分块策略：视频按1+T/4个块处理，每块最多4帧

# 编码：因果分块
for i in range(iter_):
    if i == 0:
        out = encoder(x[:,:,:1,...])      # 第0帧单独过
    else:
        out_ = encoder(x[:,:,1+4*(i-1):1+4*i,...])
        out = cat([out, out_], dim=2)      # 时间维拼接

特征缓存（Feature Cache）：跨块的因果3D卷积传递

因果卷积核大小3时，每块缓存前2帧特征
首块用零填充初始化缓存
后续块复用前块最后2帧作为缓存

$CacheT=Features[−2:](从上一块传递到下一块)\text{Cache}_{T} = \text{Features}[-2:] \quad \text{(从上一块传递到下一块)}$

设计原理：类似于RNN的隐藏状态 $h_t$ ，确保分块后时间维度的连续性。这是Wan-VAE支持"无限长"视频的关键——显存占用仅与单块大小有关，与视频总长度解耦。

2.5 视频DiT架构

Patchify：3D卷积核(1,2,2)，将潜变量 $x$ 转为token序列

$\xrightarrow{\text{Patchify}} \text{tokens} \in \mathbb{R}^{B \times L \times D}$

其中 $\times H/16 \times W/16$ ， $D$ 为潜变量维度。

Transformer Block：

输入Token序列
    ↓
[Cross-Attention] ← 文本嵌入(umT5)
    ↓
[Full Attention] ← 全局自注意力（非因果！）
    ↓
[MLP]
    ↑
时间步调制：共享MLP预测6个调制参数，每块学习不同偏置

关键设计决策：

Cross-Attention注入文本（非拼接）：长上下文下仍保持指令跟随能力
全局注意力（非因果Mask）：视频生成需关注全局信息，不同于LLM的因果约束
共享时间步MLP：所有Transformer块共享一个MLP预测6个调制参数，每块仅学偏置 → 参数量减少约25%

时间步调制：

$params=MLPshared(temb)+bi\text{mod params} = \text{MLP}_{\text{shared}}(t_{\text{emb}}) + b_i$

其中 $b_i$ 是第 $i$ 个块的专属偏置。

设计原理：共享MLP+块偏置的模式，本质上是假设"时间步对特征的影响方式是通用的"，只需各块微调偏移量。类比于BatchNorm的affine参数——全局统计+局放缩。

2.6 文本编码器：umT5

选择umT5（而非CLIP/Llama等）的三个原因：

优势	说明
多语言能力	原生支持中英文，能编码视觉文本内容
组合性能	实验验证双向注意力的umT5优于单向LLM
收敛速度	同等参数规模下收敛更快

2.7 Flow Matching训练目标

Wan使用Flow Matching（Rectified Flow）框架：

给定潜变量 $x_1$ 、噪声 $x0∼N(0,I)x_0 \sim \mathcal{N}(0, I)$ 、时间步 $\sim \text{LogNormal}$ ：

线性插值（Rectified Flow）：

$x_t = (1-t)x_0 + t x_1$

真实速度：

$v_t = x_1 - x_0$

训练损失：

$LFM=Ex0,x1,t[∥vθ(xt,t,c)−vt∥2]\mathcal{L}_{\text{FM}} = \mathbb{E}_{x_0, x_1, t}\left[\left\|v_\theta(x_t, t, c) - v_t\right\|^2\right]$

其中 $c$ 为条件信号（文本嵌入+时间步）。

设计原理：

Flow Matching比DDPM更适合联合图像-视频训练
线性插值路径避免了弯曲的噪声调度，ODE采样更高效
对数正态时间步采样：偏向中间时间步，既关注粗布局也关细细节

推理ODE：

$dtx_1 = x_0 + \int_0^1 v_\theta(x_t, t, c) \, dt$

通常用20-50步Euler积分即可收敛。

三、数据处理

3.1 预训练数据管线

四步筛选流程：

步骤	方法	目的
基础属性筛选	OCR/美学/NSFW/水印/黑边/过曝/模糊/合成检测	去除低质量数据
运动质量分级	6级分类（最佳/中等/静态/相机驱动/低质量/排除）	运动质量保证
视觉文本数据	白背景渲染+真实含文本图像	增强视觉文本生成
视觉质量筛选	高质量+分布一致	保障训练数据质量

运动质量6级分类：

等级	描述	处理
最佳运动	显著运动布局+视角+幅度+清晰平滑	优先采样
中等运动	明显运动但多主体/部分遮挡	用于多样性
静态视频	访谈/聊天	单独识别，降低采样
相机驱动	航拍/平移，主体运动少	低优先级
低质量运动	过多主体/严重遮挡/不清晰	排除

合成图像污染：实验发现<10%的AI生成图片污染都显著降低模型性能，因此训练专家分类器过滤。

3.2 后训练数据

数据类型	目的
细粒度类别（动物/植物/车辆百万级）	增强细粒度识别
关系理解（空间关系数据集）	上下左右等空间关系
重新注释字幕（短→长密集描述）	增强字幕生成
编辑指令字幕（图像差异描述）	支持视频编辑
群组图像描述（共同特征+个别特征）	支持个性化

3.3 视频密集描述（Dense Video Caption）

训练LLaVA风格的字幕模型：

视觉编码器：ViT + 动态高分辨率（最多7个patch，每个池化为12×12）
视频：每秒3帧，最多129帧
慢-快编码：每4帧保持原分辨率，其余全局平均池化
效果：VideoMME上无字幕时67.6%→69.1%

四、多阶段训练策略

4.1 预训练

阶段	数据	分辨率
图像预训练	大规模图像	低分辨率
图像-视频联合	图像+视频	递增分辨率+时长

训练仅优化DiT，文本编码器和VAE保持冻结。

4.2 后训练

架构和优化器不变，预训练检查点初始化
480px和720px联合训练
使用3.2节的后训练数据集

五、训练效率与并行策略

5.1 工作负载分析

DiT占总体计算85%以上。计算成本分解：

$CostDiT=L(αbsh2+βbs2h)\text{Cost}_{\text{DiT}} = L(\alpha bsh^2 + \beta bs^2h)$

项	含义	增长
$αbsh2\alpha bsh^2$	线性层	线性于序列长度 $s$
$βbs2h\beta bs^2h$	注意力	二次于序列长度 $s$

对于Wan的全局（非因果）注意力： $β=4\beta=4$ （前向）， $β=8\beta=8$ （反向）。

当 $s$ 达到100万tokens时，注意力占端到端训练时间95%。

显存：DiT激活显存 $≈γLbsh\approx \gamma Lbsh$ ， $γ>60\gamma > 60$ （远大于LLM的34）。14B模型1M tokens,b=1时激活>8TB。

5.2 分布式并行策略

三模块并行分配：

模块	策略	原因
VAE	DP	显存小
Text Encoder	DP + FSDP	>20GB显存需分片
DiT	FSDP + 2D-CP + DP	计算和显存压力最大

DiT的2D上下文并行（2D-CP）：

在这里插入图片描述

内层：Ulysses（沿注意力头分片）
外层：RingAttention（沿序列分片，通信与计算重叠）

$CP2D=RingAttentionouter×Ulyssesinner\text{CP}_{2D} = \text{RingAttention}_{\text{outer}} \times \text{Ulysses}_{\text{inner}}$

128 GPU示例配置：Ulysses=8, Ring=2, CP=16; FSDP=32; DP=4

设计原理：Ulysses跨机通信开销大→放内层；RingAttention需大块尺寸→放外层减少通信；两者组合实现在2台机器16 GPU上通信开销从>10%降到<1%。

5.3 推理优化

优化	方法	效果
Attention Cache	多步间复用注意力输出	减少冗余计算
CFG Cache	后期跳过无条件路径	减少一半CFG计算
Diffusion Cache	两者组合	14B模型推理效率1.62×
FP8 GEMM	权重per-tensor量化，激活per-token量化	DiT加速1.13×，GEMM性能2×
FlashAttention3 FP8	Q/K内积INT8 + O=PV用FP8 + FP32跨块累加	高精度低延迟

六、评估体系：Wan-Bench

现有FVD/FID与人类感知一致性不足，Wan提出全新自动化评估体系。

6.1 三维度14指标

维度	核心指标	评估方法
动态质量	大幅运动/人物伪影/物理合理性/像素稳定性/身份一致性	RAFT光流 + YOLO伪影检测 + Qwen2-VL问答 + DINO特征
图像质量	清晰度(MANIQA)/美学(LAION+MUSIQ)/帧间一致性(CLIP)/风格化(Qwen2-VL)	检测器 + MLLM
指令跟随	目标位置关系/相机控制(5种运镜)/动作执行	Qwen2-VL + RAFT

在这里插入图片描述

6.2 用户反馈加权

$Score=∑iwi⋅Scorei\text{Wan-Bench Score} = \sum_i w_i \cdot \text{Score}_i$

权重 $w_i$ 基于5,000+对人工对比评价与Pearson相关性计算，使自动评分更贴合人类偏好。

七、Wan2.2 升级与改进

7.1 核心升级总览

维度	Wan2.1	Wan2.2	改进幅度
架构	单一Dense DiT	MoE双专家（高噪声/低噪声）	27B总参/14B活跃
VAE压缩	8×8×2 = 128倍, 16通道	16×16×4 = 1024倍, 48通道	8×压缩率提升
训练数据	十亿级图像+视频	图像+65.6%/视频+83.2%	大幅扩充
最大参数	14B	27B（激活14B）	翻倍但推理成本不变
新增功能	—	电影美学控制系统(60+参数)	新增
消费级模型	1.3B (8.19GB)	TI2V-5B (24GB)	更强消费级体验
VBench	86.22%	84.7%（注：评测版本差异）	—

7.2 MoE双专家架构（最核心改进）

动机：单一DiT在所有噪声水平共享参数 → 高噪声需全局布局能力 vs 低噪声需细节精修能力 → 难以兼顾。

设计：按信噪比(SNR)分阶段激活不同专家

阶段	激活专家	参数量	专注能力
高噪声（t > $tmoet_{\text{moe}}$ ）	高噪声专家	~14B	整体布局、运动轨迹、场景构图
低噪声（t ≤ $tmoet_{\text{moe}}$ ）	低噪声专家	~14B	纹理细节、光影效果、边缘锐化

切换阈值：基于SNR决定

$tmoe:SNR(tmoe)=12SNRmin⁡t_{\text{moe}} : \text{SNR}(t_{\text{moe}}) = \frac{1}{2}\text{SNR}_{\min}$

SNR单调递减：去噪初期SNR最低（高噪声专家），后期SNR升高（低噪声专家）。

推理时显存管理：

def select_expert(self, t):
    if t > self.t_moe:
        # 激活高噪声专家，卸载低噪声专家到CPU
        offload_to_cpu(self.low_noise_model)
        load_to_gpu(self.high_noise_model)
        return self.high_noise_model
    else:
        # 激活低噪声专家，卸载高噪声专家到CPU
        offload_to_cpu(self.high_noise_model)
        load_to_gpu(self.low_noise_model)
        return self.low_noise_model

设计原理：

这不是LLM中传统的token-level MoE（每个token选专家），而是时间步级MoE——整个去噪阶段切换模型
因此严格说是"两阶段Dense模型"，但效果上等同于MoE：27B总参数，14B活跃参数，推理成本不变
类比于绘画：先粗笔勾轮廓→再细笔描细节
两个专家各14B，推理时同一时刻只有一个在GPU上，显存占用≈14B模型

7.3 高压缩VAE（Wan2.2 TI2V专用）

特性	Wan2.1 VAE	Wan2.2 高压缩VAE
patchify	无	(1,2,2) 时空打patch
时间下采样	4×	4×
空间下采样	8×	16× (8× + patch 2×)
通道数	16	48
总压缩倍率	128	1024
公式	8×8×2	16×16×4
720P PSNR	~30.1 dB	~32.5 dB
显存占用	基准	降低约64%

设计原理：

通道从16→48补偿高压缩信息损失（更多通道=更大表示容量）
非对称编解码+残差采样：编码器激进压缩，解码器精细重建
1024倍压缩使5B模型就能生成720P视频，大幅降低推理门槛

7.4 电影美学控制系统

Wan2.2首创的可控参数化系统：

60+直观可控参数：光影、色彩、构图、镜头语言
用户通过组合美学关键词控制画面风格
例如：“暖色调 + 侧逆光 + 浅景深 + 缓慢推进”

7.5 Wan2.2 模型系列

模型	参数	激活参数	功能	VAE
Wan2.2-T2V-A14B	27B	14B	文生视频	vae2_1
Wan2.2-I2V-A14B	27B	14B	图生视频	vae2_1
Wan2.2-TI2V-5B	5B	5B	统一文/图生视频	vae2_2（高压缩）

7.6 训练数据扩充

数据类型	增量
图像数据	+65.6%
视频数据	+83.2%

更大数据规模 → 更强的泛化能力与画面质量。

八、公式汇总

8.1 VAE编码/解码

$μ,log⁡σ2=E3D(V)\mu, \log\sigma^2 = E_{3D}(V)$

$\mu + \sigma \cdot \epsilon, \quad \epsilon \sim \mathcal{N}(0,I)$

$z^=(μ−scaleμ)×scaleσ\hat{z} = (\mu - \text{scale}_\mu) \times \text{scale}_\sigma$

8.2 VAE训练损失

$LVAE=3⋅L1+3×10−6⋅LKL+3⋅LLPIPS+LGAN3D\mathcal{L}_{\text{VAE}} = 3\cdot\mathcal{L}_1 + 3\times10^{-6}\cdot\mathcal{L}_{\text{KL}} + 3\cdot\mathcal{L}_{\text{LPIPS}} + \mathcal{L}_{\text{GAN}}^{3D}$

8.3 Flow Matching

$x_t = (1-t)x_0 + tx_1$

$v_t = x_1 - x_0$

$LFM=Ex0,x1,t[∥vθ(xt,t,c)−vt∥2]\mathcal{L}_{\text{FM}} = \mathbb{E}_{x_0,x_1,t}\left[\|v_\theta(x_t,t,c) - v_t\|^2\right]$

8.4 DiT计算成本

$CostDiT=L(αbsh2+βbs2h)\text{Cost}_{\text{DiT}} = L(\alpha bsh^2 + \beta bs^2h)$

8.5 DiT显存

$MemDiT≈γLbsh,γ>60\text{Mem}_{\text{DiT}} \approx \gamma Lbsh, \quad \gamma > 60$

8.6 Wan-Bench加权评分

$Preference)\text{Score} = \sum_i w_i \cdot S_i, \quad w_i \propto \text{Pearson}(S_i, \text{Human Preference})$

8.7 MoE切换阈值

$tmoe:SNR(tmoe)=12SNRmin⁡t_{\text{moe}} : \text{SNR}(t_{\text{moe}}) = \frac{1}{2}\text{SNR}_{\min}$

8.8 Wan2.2 VAE压缩率

$Wan2.1:压缩=4×8×2=128×\text{Wan2.1}: \text{压缩} = 4 \times 8 \times 2 = 128\times$

$Wan2.2:压缩=4×16×4=1024×\text{Wan2.2}: \text{压缩} = 4 \times 16 \times 4 = 1024\times$

九、Wan2.1 vs Wan2.2 核心区别与设计思考

9.1 架构对比

Wan2.1:
  噪声 x_t ─→ [单一14B DiT（所有噪声水平共享参数）] ─→ 去噪 x_{t-Δt}

Wan2.2:
  噪声 x_t ─→ [SNR检测] ─→ { 高噪声专家14B (t > t_moe) } ─→ 去噪 x_{t-Δt}
                            { 低噪声专家14B (t ≤ t_moe) }

9.2 六维对比

维度	Wan2.1	Wan2.2	设计思考
DiT核心	单一14B Dense	双专家MoE (27B/14B活跃)	高噪声需全局视野，低噪声需精细处理，参数共享反而互相干扰
VAE	128×压缩, 16ch	1024×压缩, 48ch	Wan2.2 TI2V用更高压缩适配消费级，48通道补偿信息损失
注意力	全局非因果注意力	同	视频需全局感知（与LLM因果不同）
文本编码	umT5	同	中英文+双向+快速收敛已是最优选择
训练目标	Flow Matching	同	Rectified Flow线性路径高效稳定
新增控制	无	电影美学60+参数	专业创作者需求：参数化视听语言

9.3 效率对比

指标	Wan2.1-14B	Wan2.2-TI2V-5B
显存需求	数十GB	24GB (RTX 4090)
720P生成时间	数分钟	~155s (多卡) / ~534s (单卡)
消费级可用	1.3B版本(8GB)	5B版本(24GB)
推理速度(I2V-Flash)	基准	12×加速

9.4 关键设计思考

为什么会从单Dense模型转MoE？
- 人类创作也是"先构图再细节"，不同创作阶段需要不同的认知模式
- 单一模型参数在高/低噪声阶段承担矛盾的角色：既要"大胆下笔"又要"精细修饰"
- MoE分离后，每个专家可以专注训练自己擅长阶段的特征
为什么Wan2.2的MoE不像LLM的传统MoE？
- LLM MoE是token-level路由：每个token独立选专家
- Wan2.2 MoE是timestep-level路由：整个去噪阶段统一切换
- 原因：同一去噪步内所有token处于相同噪声水平，无需分token路由
- 这也是为什么知乎评论说"更像是两个Dense模型"——功能上确实是
为什么高压缩VAE只在TI2V-5B中使用？
- T2V/I2V的A14B模型仍用原VAE（128×）
- 高压缩VAE(1024×)损失部分重建精度
- 5B模型参数较小，必须在潜空间更激进压缩才能保持效率
- 大模型(14B)有充足容量处理128×的潜变量

十、下游应用

10.1 八大任务

任务	描述	方法
T2V	文生视频	基础能力
I2V	图生视频	首帧条件注入
视频编辑	指令引导编辑	统一编辑模型
文生图	文本生成图像	视频模型单帧生成
个性化	个人视频生成	参考帧+LoRA
相机控制	5种运镜控制	条件注入
实时生成	流式视频生成	一致性模型蒸馏
音频生成	视频生音频	独立音频DiT

在这里插入图片描述

10.2 Wan2.2扩展应用

模型	功能
Wan2.2-S2V	音频驱动数字人（图片+音频→口型同步视频）
Wan2.2-Animate	动作生成（驱动人物/动物/动漫）

十一、数据集地址

数据集/资源	地址
Wan2.1 GitHub	https://github.com/Wan-Video/Wan2.1
Wan2.2 GitHub	https://github.com/wan-video/wan2.2
HuggingFace模型	https://huggingface.co/Wan-AI
魔搭ModelScope	https://modelscope.cn/organization/Wan-AI
项目主页	https://wan.video
在线体验	https://tongyi.aliyun.com/wanxiang/
VBench评测基准	https://huggingface.co/datasets/VBench/VBench_full
LAION-5B（美学评分器来源）	https://laion.ai/blog/laion-5b/
umT5文本编码器	https://huggingface.co/google/umt5-xxl

十二、局限性与未来方向

局限	说明
MoE非传统	当前两专家切换是粗粒度路由，未实现token-level动态选择
高压缩VAE精度	1024×压缩虽PSNR略优，但某些细粒度场景可能损失信息
长视频一致性	超长视频(>30s)的全局时序一致性仍有挑战
物理真实性	物理交互（碰撞、流体）的真实性依赖数据驱动，未见针对性优化