背景与痛点

在实时音视频场景（如直播、视频会议、云游戏）中，端到端延迟直接影响用户体验。传统解码方案存在以下问题：

• 软件解码（如FFmpeg）CPU占用高，难以满足移动端实时性要求
• 默认硬解码未针对低延时优化，缓冲机制引入额外延迟
• 不同厂商设备解码器实现差异大，参数调优缺乏统一标准

技术选型对比

| 方案类型 | 延迟水平 | CPU占用 | 设备兼容性 | |---------------|----------|---------|------------| | 软件解码 | 50-100ms | 高 | 最佳 | | 普通硬解码 | 30-80ms | 低 | 中等 | | 低延时硬解码 | 10-30ms | 最低 | 需特殊配置 |

核心实现细节

关键参数配置

MediaFormat format = MediaFormat.createVideoFormat("video/avc", width, height);
format.setInteger(MediaFormat.KEY_LOW_LATENCY, 1);  // 关键低延时标记
format.setInteger(MediaFormat.KEY_PRIORITY, 0);     // 最高优先级
format.setInteger(MediaFormat.KEY_OPERATING_RATE, Short.MAX_VALUE); // 最大处理速率

缓冲区优化

1. 使用setCallback异步模式避免阻塞
2. 动态调整输入缓冲区大小：

   // 根据帧率计算单帧时间窗口
   int bufferSize = (int)(bitrate / (8 * fps)) + 1024;
   format.setInteger(MediaFormat.KEY_MAX_INPUT_SIZE, bufferSize);

帧率与分辨率

• 保持源流与解码格式一致避免缩放损耗
• 超过1080P建议启用Surface直接渲染

完整代码示例

// 初始化解码器
MediaCodec codec = MediaCodec.createDecoderByType("video/avc");
codec.setCallback(new MediaCodec.Callback() {
    @Override
    public void onInputBufferAvailable(MediaCodec mc, int index) {
        ByteBuffer buffer = mc.getInputBuffer(index);
        // 填充视频数据...
        mc.queueInputBuffer(index, 0, data.length, presentationTimeUs, 0);
    }

    @Override
    public void onOutputBufferAvailable(...) {
        // 立即渲染或处理输出帧
        codec.releaseOutputBuffer(index, render);
    }
});
codec.configure(format, surfaceView.getHolder().getSurface(), null, 0);
codec.start();

性能与安全

1. 设备兼容：
2. 检测MediaCodecInfo.CodecCapabilities.FEATURE_LowLatency

3. 华为设备需要特殊profile配置

4. 内存管理：

5. 解码器停止后必须调用release()

6. 输出Surface使用SurfaceTexture.OnFrameAvailableListener监听

7. 异常恢复：

8. 捕获IllegalStateException重建解码器
9. 网络抖动时清空缓冲区：codec.flush()

避坑指南

• 队列积压：当输入输出缓冲区持续满时，主动丢弃非参考帧
• 帧同步：使用PresentationTimeUs对齐音视频
• 功耗控制：动态调整解码分辨率（如后台时降为720P）

实践建议

尝试在不同设备上测试以下指标： 1. 使用SystemClock.elapsedRealtime()测量端到端延迟 2. 对比KEY_LOW_LATENCY开启前后的CPU占用率 3. 观察高帧率（60fps）下的解码稳定性

欢迎在评论区分享你的测试数据和优化经验！