背景痛点

在音视频处理中，开发者常遇到三大问题：

• 音视频不同步：音频流和视频流时间戳未对齐，导致播放时出现嘴型对不上、声画延迟等问题
• 编码效率低：未合理配置编码参数，导致转码速度慢、CPU占用高
• 格式兼容性差：输出格式或编码器选择不当，导致播放器无法正常解码

技术选型对比

| 工具 | 优点 | 缺点 | |-------------|-----------------------------|-----------------------------| | FFmpeg | 支持几乎所有编解码格式，跨平台 | 命令行参数复杂，学习曲线陡峭 | | GStreamer | 管道式设计，模块化程度高 | 文档较少，社区支持有限 | | libav | API设计清晰，适合二次开发 | 功能相对FFmpeg较少 |

核心实现细节

1. 音视频同步原理

FFmpeg通过PTS（Presentation Time Stamp）实现同步：

1. 解码时提取各流的PTS值
2. 根据时间基（time_base）转换为统一时间单位
3. 音频流以采样率为基准，视频流以帧率为基准
4. 复用器（muxer）写入时保持时间戳对齐

2. 关键编码参数

# H.264视频编码示例参数
-preset medium  # 编码速度与压缩率平衡
-crf 23         # 质量系数（0-51，值越小质量越高）
-pix_fmt yuv420p # 兼容性最好的像素格式

# AAC音频编码示例参数
-b:a 128k       # 比特率控制
-ar 44100       # 采样率
-ac 2           # 立体声

完整代码示例

命令行方式

ffmpeg -i input.mp4 \
       -c:v libx264 -preset fast -crf 23 \
       -c:a aac -b:a 128k \
       -movflags +faststart \
       output.mp4

C API关键代码（节选）

// 创建编码器上下文
AVCodecContext *c_ctx = avcodec_alloc_context3(codec);
c_ctx->bit_rate = 400000;
c_ctx->width = 1920;
c_ctx->height = 1080;
c_ctx->time_base = (AVRational){1, 25}; // 帧率25fps

// 音频参数设置
c_ctx->sample_rate = 44100;
c_ctx->channel_layout = AV_CH_LAYOUT_STEREO;
c_ctx->sample_fmt = AV_SAMPLE_FMT_FLTP;

性能测试数据

| 预设模式 | 转码时间(s) | CPU占用(%) | 输出大小(MB) | |------------|------------|-----------|-------------| | ultrafast | 42 | 95 | 78 | | medium | 68 | 75 | 65 | | placebo | 210 | 60 | 62 |

生产环境避坑指南

1. 容器格式选择：
2. MP4适合网络播放，但需要添加-movflags +faststart

3. MKV支持更多编码格式但iOS兼容性差

4. 硬件加速方案：

5. NVIDIA显卡使用-c:v h264_nvenc

6. Intel核显使用-c:v h264_qsv

7. 常见错误排查：

8. 出现"Non-monotonic timestamps"警告时，添加-fflags +genpts
9. 音频杂音问题尝试添加-af aresample=async=1000

实践建议

建议读者尝试以下对比实验：

1. 固定CRF值，比较不同preset模式的速度差异
2. 相同preset下，调整CRF值观察画质变化
3. 测试不同音频比特率(64k/128k/192k)的听觉差异

通过实际测试数据，可以找到最适合自己业务场景的参数组合。