用 Codex Skill 把英文科技/教程视频翻成中文配音版

很多英文科技视频、教程课、产品演示，真正难翻的不是“把英文变中文”，而是让中文配音后的成片仍然像一条完整视频：

• 讲者语气要自然
• 字幕段落不能乱
• 中文音频不能拖垮画面节奏
• 后期改一句话时，不能整条视频从头返工

dumb-english-2-chinese 这个 skill 的设计目标，就是把这些问题收进一条可重复执行的流水线里。它适合处理英文科技/教程视频，尤其是讲解密度高、段落清晰、需要保留原画面节奏的内容。

---

1. 为什么它适合科技/教程视频

科技和教程类视频通常有几个特点：

🎙️ 以口播为主
画面服务于讲解，核心信息在讲者的话里。只要转写、翻译、配音和同步稳定，成片就能保留原视频的大部分信息价值。

🧩 句子结构清晰
教程视频往往是一句一个步骤、一段一个概念。流水线可以把英文字幕合并成更适合翻译和配音的段落，减少“半句话一段”的碎片感。

🛠️ 后期经常只改局部
术语、语气、产品名、步骤描述都可能需要微调。这个 skill 的逐句 WAV 设计，让你可以只重做某一句，而不是重跑整条视频。

⏱️ 同步比逐字对齐更重要
教程视频不一定要求嘴型级别同步，但要求“这一句中文讲完时，画面刚好还在对应步骤”。所以它采用中文音频主时间轴，再让视频片段变速适配。

---

2. 前期素材怎么准备

推荐先用剪映把素材整理干净，再交给流水线处理。

2.1 导出完整英文视频或音频

在剪映里保留完整原片，导出：

• 英文原视频.mp4
• 或者单独导出 英文原音频.mp3

如果只有视频也可以，后续可以用 ffmpeg 提取音频。但前期直接导出一份清晰音频，会更方便检查转写效果。

2.2 准备一小段干净的讲者参考音频

VoxCPM2 音色克隆需要一段参考音频。建议从剪映里截取：

• 讲者本人声音
• 背景音乐尽量少
• 没有掌声、噪声、多人重叠说话
• 3 到 15 秒即可，推荐约 12 秒

可以命名为：

参考音频.mp3

这段参考音频不是越长越好。太短可能不稳，太长会拖慢推理，也可能带入不必要的噪声。

2.3 文件命名和目录组织

建议每条视频单独一个目录，避免中间文件混在一起。

<project>/
  input/
    英文原视频.mp4
    英文原音频.mp3
    参考音频.mp3
  output-codex/

流水线默认把中间文件和最终成片放进：

<project>/output-codex/

这样做有两个好处：

• 每条视频的字幕、音频片段、最终成片都在同一处
• 和其他工具常用的 output/ 分开，避免互相覆盖

---

3. 整条流水线做了什么

可以把它理解成一条从英文原片到中文配音成片的生产线：

英文音频
  ↓
faster-whisper 转写英文 SRT
  ↓
合并短句，得到更适合翻译的英文 SRT
  ↓
翻译成中文 SRT
  ↓
VoxCPM2 按句生成中文 WAV
  ↓
ffmpeg 按中文音频重排时间轴并合成视频

Step 1：faster-whisper 转写英文 SRT

流水线先用 faster-whisper 把英文音频转写成 english.srt。

为了让长视频更稳定，它会把音频切成多个分段处理，并在分段之间保留少量重叠。这样即使中途失败，也可以从未完成的分段继续，而不是整条音频从头开始。

Step 1b：合并短句

自动转写出来的字幕经常过碎，比如一句话被切成三四段。

skill 会把间隔很短、总长度合适的相邻字幕合并成 english_merged.srt。这一步很关键：

• 翻译时上下文更完整
• 中文配音更像自然口播
• 后续视频变速不会因为碎片太多而显得跳

Step 2：翻译中文 SRT

接着把合并后的英文字幕翻译成 chinese.srt。

这里最重要的规则是：只翻译正文，不改字幕编号和时间戳。

也就是说：

• 英文第 1 段对应中文第 1 段
• 英文第 2 段对应中文第 2 段
• 直到第 N 段都保持一一对应

这为后面的逐句配音和合成打基础。

Step 3：VoxCPM2 生成中文逐句语音

然后用 VoxCPM2 根据 chinese.srt 逐句生成中文配音：

<project>/output-codex/audio_segments/
  001.wav
  002.wav
  003.wav
  ...

每个字幕段落对应一个 WAV 文件。这个设计非常适合教程视频，因为后期如果某一句术语不准、语气别扭，只需要重做这一句。

Step 4：ffmpeg 合成最终视频

最后进入合成阶段：

• 校验英文 SRT、中文 SRT、逐句 WAV 是否严格一一对应
• 根据每句中文 WAV 的实际时长生成中文时间轴
• 按英文 SRT 把原视频切成片段
• 每段视频按中文音频的 slot 变速
• 拼接所有视频片段和中文音频

最终输出通常包括：

<project>/output-codex/final_translated.mp4
<project>/output-codex/chinese_full.mp3
<project>/output-codex/chinese_timeline.srt

---

4. 后期只改一句话，怎么做

教程视频最常见的返修不是整片翻错，而是某一句：

• 术语翻译不准确
• 语气太书面
• 中文太长，导致画面被拉慢
• 某个产品名、人名需要固定译法

这时不要重跑全流程。按下面做局部修正即可。

4.1 找到对应字幕段落

先打开：

<project>/output-codex/chinese.srt

找到要改的段落，比如第 37 段。

只改这一段的中文正文，不要改：

• 段落编号
• 时间戳
• 其他段落顺序

4.2 备份或删除对应 WAV

第 37 段对应：

<project>/output-codex/audio_segments/037.wav

你可以先备份：

037.wav.bak

然后删除原来的 037.wav，让流水线知道这一句需要重新生成。

4.3 只重新生成这一句

有两种做法。

✅ 做法 A：重跑 Step 3，让它跳过已存在的 WAV

如果脚本支持断点续跑，已存在的 001.wav、002.wav 等会被跳过，只补回缺失的 037.wav。

✅ 做法 B：做一个临时单句 SRT

也可以临时准备一个只包含第 37 段的 SRT，用同样的参考音频生成这一句，再把生成的 WAV 放回：

<project>/output-codex/audio_segments/037.wav

注意文件名必须保持三位编号，和原段落编号一致。

4.4 重新跑 Step 4 合成

中文 SRT 和对应 WAV 修好后，再重跑合成步骤。

Step 4 会重新校验：

english_merged.srt
chinese.srt
audio_segments/NNN.wav

只要三者数量一致、编号连续，就可以生成新的最终视频。

---

5. 核心同步策略：中文音频做主时间轴

这个 skill 最重要的设计，是不强行把中文塞回英文时间轴，而是反过来：

以中文音频为主时间轴，让视频片段去适配中文配音。

原因很简单：中文翻译后的语速、字数、停顿和英文不可能完全一样。如果硬塞进英文时间戳，中文配音要么太赶，要么被切断。

5.1 每句中文 WAV 决定一个 slot

第 i 句中文音频的实际时长，就是这一句在最终视频里占用的主要时间。

同时，句间默认加入：

0.5s gap

最后一句后面不额外补 gap。

5.2 原视频按英文 SRT 切片

英文 SRT 仍然很重要。它决定“原视频中哪一段画面对应这一句话”。

对第 i 段：

英文片段时长 = english_srt[i].end - english_srt[i].start
中文 slot 时长 = wav[i] 实际时长 + 句间 gap

5.3 每段视频按比例变速

每个视频片段的变速比是：

speed_ratio = 英文片段时长 / 中文音频 slot 时长

如果中文更长，视频需要放慢。
如果中文更短，视频可以加快。

为了避免画面过慢或过快，变速会限制在：

0.6x ~ 1.8x

如果限制后仍然对不齐，就用 trim 或 pad 做最后修正：

• 中文 slot 比视频短：裁掉多余画面
• 中文 slot 比视频长：补齐最后一帧或做必要填充

5.4 严格 1:1 校验

合成前必须满足：

英文 SRT 段数 = 中文 SRT 段数 = 逐句 WAV 数量

而且编号必须连续：

1, 2, 3, ... N
001.wav, 002.wav, 003.wav, ... NNN.wav

任何缺失、多余、跳号，都会直接停止合成。这个限制看起来严格，但它能避免生成“字幕、声音、画面错位”的半成品。

---

6. 实用建议

📌 中文翻译尽量短一点
教程视频不适合把中文写得太满。中文过长会迫使画面放慢，影响观看节奏。

📌 术语先统一再批量生成语音
产品名、技术名词、人名、章节名最好在翻译阶段统一，否则后期会反复改局部 WAV。

📌 优先修 SRT，再重做 WAV
不要直接剪音频来修句子。正确顺序是先改 chinese.srt，再重新生成对应的 NNN.wav。

📌 保留中间文件
english_merged.srt、chinese.srt、audio_segments/ 都是后期返修入口，不建议删。

📌 参考音频保持干净
音色克隆质量很大程度取决于参考音频。干净、单人、无背景干扰，比长音频更重要。

---

结语

dumb-english-2-chinese 的价值，不只是把英文视频翻成中文。

它真正解决的是教程类视频翻译里的工程问题：可转写、可翻译、可克隆配音、可合成、可局部返修、可校验同步。

对于英文科技课、工具教程、产品演示、会议讲解这类内容，它的设计思路很清晰：

让中文配音自然完整，
让原视频画面跟着中文节奏走，
让每一句都可以独立返修。

这就是它适合英文科技/教程视频翻译的核心原因。