---

最近在折腾AIGC视频生成，踩了不少坑也积累了些经验。今天就把从技术选型到性能优化的完整流程梳理成笔记，尤其适合刚入门的小伙伴快速避坑。

一、为什么视频生成比图片难这么多？

刚开始做文本生成视频时，发现三个头疼问题：

1. 显存杀手：生成1080P视频时显存轻松突破20GB，我的3090显卡直接跪了
2. 动作鬼畜：相邻帧之间人物动作不连贯，像在跳机械舞
3. 等待煎熬：生成10秒视频要半小时，调试一次参数等到怀疑人生

后来才明白，视频生成需要同时处理空间维度（单帧质量）和时间维度（帧间连贯性），相当于在四维空间里做创作，复杂度几何级上升。

二、主流方案怎么选？实测数据说话

对比了当前最火的两种方案：

| 方案 | 显存占用 | 生成速度(秒/帧) | 连贯性 | 适用场景 | |---------------------|----------|-----------------|--------|------------------| | Stable Diffusion Video | 12-24GB | 3-5 | ★★★☆ | 创意短片/动画 | | Runway ML Gen-2 | 8-16GB | 1-2 | ★★☆☆ | 电商短视频 |

个人建议： - 追求画质选SD，配合Motion Module插件能提升连贯性 - 要快速出片用Runway，但细节经不起放大看

三、手把手搭建生成流水线

用Python实现核心流程，关键步骤都有注释：

# 1. 环境准备
import torch
from diffusers import StableDiffusionVideoPipeline

# 2. 初始化模型（注意加载motion模块）
pipe = StableDiffusionVideoPipeline.from_pretrained(
    "stabilityai/stable-diffusion-video",
    torch_dtype=torch.float16,
    variant="fp16"
).to("cuda")

# 3. 魔法提示词公式
prompt = "8k高清,(masterpiece), 城市夜景延时摄影, 车流光轨, 蓝调时刻" 
negative_prompt = "模糊, 重复, 畸形手指"  # 负面提示很重要！

# 4. 关键参数设置（帧数根据视频时长调整）
result = pipe(
    prompt,
    negative_prompt=negative_prompt,
    num_frames=24,
    height=768,
    width=1024,
    num_inference_steps=25,  # 质量与速度的平衡点
    guidance_scale=7.5,      # 控制创意自由度
).frames

避坑点： - 分辨率不要超过1024x768，否则OOM警告 - num_inference_steps建议20-30之间，太少有噪点，太多浪费时间

四、性能优化三把斧

1. 显存瘦身术

• 梯度检查点：用pipe.enable_xformers_memory_efficient_attention()激活
• 混合精度：初始化时设置torch_dtype=torch.float16
• 分块渲染：大视频拆分成片段处理

2. 分布式推理技巧

当需要批量生成时：

1. 用DDP包装模型
2. 设置不同的prompt_seeds给各个GPU
3. 通过NCCL后端同步

3. 缓存妙用

# 预加载文本编码结果（提升20%速度）
text_embeds = pipe._encode_prompt(prompt, device="cuda", num_images_per_prompt=1)

五、血泪教训记录本

CUDA OOM急救方案：

1. 立即执行torch.cuda.empty_cache()
2. 降低分辨率（宁愿后期超分）
3. 添加--medvram参数启动

帧间闪烁解决：

• 在pipe调用中添加motion_scale=1.2参数
• 后期用DAIN插件补帧

六、商业化部署注意事项

1. 鉴权设计：
2. API密钥+IP白名单双验证

3. 请求头校验User-Agent

4. 限流策略：

5. 令牌桶算法控制QPS
6. 单用户每分钟不超过10次请求

七、还在思考的问题

发现个有趣现象：当prompt包含"快速奔跑"时，生成的视频里人物腿动得特别快，但位移却很慢。这说明当前模型对运动速度和位移量的关联理解还不够好，大家有什么解决思路吗？

总结下来，AIGC视频生成就像在教AI拍电影，既要懂剧本创作（prompt工程），又要会运镜技巧（运动控制）。虽然现在还有不少限制，但每次看到AI生成出乎意料的画面时，还是会感叹技术的神奇。