背景与痛点

在移动端实现视频剪辑时，开发者常遇到两大核心问题：内存溢出（OOM）和帧率不稳定。传统方案如 FFmpeg 虽然功能强大，但在 Android 上存在以下局限性：

• 性能开销大：FFmpeg 的软解码/编码会占用大量 CPU 资源
• 延迟明显：复杂滤镜处理时容易出现卡顿
• 集成成本高：需引入第三方库，增加包体积

技术选型

MediaCodec 作为 Android 原生硬件加速方案，具有显著优势：

• 硬件加速：利用芯片组专用编解码单元
• 低延迟：直接操作输入/输出缓冲区
• 系统级集成：无需额外依赖库

对比 FFmpeg 的适用场景：

| 特性 | MediaCodec | FFmpeg | |-------------|------------|----------| | 硬件加速 | ✅ | ❌ | | 格式兼容性 | 中等 | 极强 | | 性能 | 高 | 中等 | | 包体积影响 | 无 | 较大 |

核心实现

1. 初始化配置

// 创建解码器（以H.264为例）
val decoder = MediaCodec.createDecoderByType("video/avc")
val format = MediaFormat.createVideoFormat("video/avc", width, height)
format.setInteger(MediaFormat.KEY_FRAME_RATE, 30)
decoder.configure(format, surface, null, 0)

// 创建编码器
val encoder = MediaCodec.createEncoderByType("video/avc")
encoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)

2. 帧处理流程

1. 输入缓冲区获取：

   val inputBufferId = decoder.dequeueInputBuffer(TIMEOUT_USEC)
   if (inputBufferId >= 0) {
       val inputBuffer = decoder.getInputBuffer(inputBufferId)
       // 填充原始视频数据
   }

2. 输出缓冲区处理：

   val bufferInfo = MediaCodec.BufferInfo()
   val outputBufferId = decoder.dequeueOutputBuffer(bufferInfo, TIMEOUT_USEC)
   if (outputBufferId >= 0) {
       val outputBuffer = decoder.getOutputBuffer(outputBufferId)
       // 进行帧编辑（裁剪/滤镜等）
       encoder.queueInputBuffer(...)
   }

性能优化

关键策略

• 双缓冲队列：独立编解码线程避免阻塞
• 精准帧控制：

  format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 5) // 关键帧间隔

• 内存复用：

  decoder.setCallback(object : MediaCodec.Callback() {
      // 实现缓冲区复用逻辑
  })

实测性能提升对比（Redmi Note 10 Pro）：

| 操作 | FFmpeg(ms) | MediaCodec(ms) | |-------------|------------|----------------| | 10秒视频剪辑| 4200 | 1800 | | 内存峰值 | 350MB | 120MB |

避坑指南

常见问题

1. 编解码器不匹配：
2. 现象：输出视频花屏

3. 解决：检查 COLOR_Format 一致性

4. 帧同步异常：

5. 现象：音画不同步

6. 解决：严格维护 PTS 时间戳

   bufferInfo.presentationTimeUs = computePts(frameIndex)

7. ANR 问题：

8. 现象：界面卡死
9. 解决：编解码操作放在独立 HandlerThread

总结与延伸

通过 MediaCodec 实现的基础剪辑框架可扩展：

• 添加 OpenGL ES 滤镜链
• 结合 MediaMuxer 处理音视频同步
• 实现多轨道编辑（画中画等）

建议在实际项目中：

1. 优先测试目标设备的硬件编解码能力
2. 建立帧丢弃机制应对低端设备
3. 监控内存使用率防止 OOM

"最好的优化是恰当的取舍" - 根据业务需求平衡画质与性能。欢迎在评论区分享你的实战经验！