1、基础视觉类模型

视觉类模型主要处理图片和视频，常见任务包括：

• 图像分类：判断图片里是什么。

• 目标检测：不仅识别是什么，还要标出位置。

• 图像理解：理解图片内容并回答问题。

• 图像生成：根据文字或参考图生成新图像。

视觉模型的核心任务是从像素中提取结构和语义信息，最终完成“看懂”或“生成”图像。

2、基础序列、声音类模型

声音和语音本质上也是一种序列数据，重点在于时间顺序。

相关模型通常用于：

• 语音识别：把语音转成文字。

• 语音合成：把文字转成语音。

• 音频理解：判断说话内容、情绪或事件。

声音模型处理的是随时间变化的信号，因此比静态图片更强调时序关系。

3、图片/视频生成：GAN 与扩散模型

在生成式视觉模型的发展过程中，GAN 和 扩散模型（Diffusion Model） 是两条非常重要的路线。

GAN 的基本理解

GAN 全称 生成对抗网络。

它由两个部分组成：

• 生成器：负责生成图像。

• 判别器：负责判断图像是真是假。

二者像“造假者”和“鉴定员”一样反复对抗，生成器在不断博弈中学会产出越来越逼真的结果。

GAN 的优势是生成速度快，在局部修补、小范围图像编辑、风格迁移等场景中表现不错。

但 GAN 也有明显局限：当缺失面积较大、主体结构复杂时，它更容易沿着周边纹理“补”，却不一定真正理解整幅图的全局逻辑，因此可能出现局部看着像，整体结构却不合理的情况。

扩散模型的基本理解

当前主流图片生成模型大量采用扩散模型。

它的基础思路可以概括为：先从噪声出发，再一步步“去噪”，最终生成符合提示词要求的图像。

直观地说，扩散模型不是“一次性把图画出来”，而是像从一团模糊噪声中慢慢把图像“显影”出来。

这个过程虽然通常比 GAN 更慢，但生成结果往往更稳定，对提示词的服从度也更高。

为什么扩散模型在复杂生成里更常用

从应用角度，GAN 与 Diffusion 的根本差异不只是“谁更清晰”，而是它们对画面结构的理解方式不同：

对比维度	GAN	Diffusion
生成方式	生成器与判别器对抗博弈	从噪声逐步去噪生成
速度	通常更快	通常更慢
局部修补	表现较好	也可胜任
大面积缺失重建	容易复制邻近纹理	更擅长根据整体语义重构
Prompt 服从度	相对弱一些	通常更强

尤其在“主体缺失、大面积空白、需要根据上下文补出合理结构”的任务中，扩散模型更常被优先选择。

原因在于它更擅长从整幅图像的全局语义出发，推断缺失区域应该是什么，而不是只做局部纹理填补。

视频生成如何理解

视频生成可以理解为：在图像生成能力的基础上，再增加“帧与帧之间的连续性控制”。

因此它不仅要解决“这一帧画得像不像”，还要解决“前后几帧是否连贯、动作是否自然、主体是否稳定”。