在Android视频处理开发中，MediaCodec与OpenGL协同工作是常见方案，但帧重复问题却让不少开发者头疼。今天我们就来深入剖析这个问题，从原理到实践一步步解决它。

1. 问题现象与背景

当使用MediaCodec进行硬件编码，并通过OpenGL渲染到Surface时，经常会出现以下现象：

• 视频中出现重复帧
• 播放时卡顿感明显
• 编码输出的视频时长与实际不符

这种情况在实时视频处理（如滤镜应用）和视频录制场景中尤为常见。

2. 技术原理剖析

问题的根源在于SurfaceTexture、EGL和MediaCodec的交互机制：

1. SurfaceTexture工作原理：
2. 作为OpenGL纹理的包装器
3. 通过updateTexImage()更新纹理内容

4. 自动管理缓冲区队列

5. EGL环境角色：

6. 连接OpenGL与原生窗口系统

7. 管理渲染上下文和Surface

8. MediaCodec输入表面：

9. 通过createInputSurface()创建
10. 作为OpenGL渲染目标
11. 自动将渲染内容送入编码器

3. 关键问题诊断

帧重复主要发生在两个环节：

1. 帧缓冲同步问题：
2. OpenGL渲染与编码器消费速度不匹配

3. 未正确等待帧可用信号

4. 时间戳(PTS)处理：

5. 未正确设置presentationTimeUs
6. 时间戳计算方式错误

4. 完整解决方案

以下是Kotlin实现的关键代码片段：

// 1. 创建MediaCodec编码器
val mediaCodec = MediaCodec.createEncoderByType("video/avc")
val format = MediaFormat.createVideoFormat(...)
mediaCodec.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)

// 2. 创建输入Surface
val inputSurface = mediaCodec.createInputSurface()

// 3. 设置EGL环境
eglDisplay = EGL14.eglGetDisplay(EGL14.EGL_DEFAULT_DISPLAY)
EGL14.eglInitialize(eglDisplay, ...)

// 4. 渲染循环关键代码
fun renderFrame() {
    // 等待新帧可用
    surfaceTexture.updateTexImage()

    // 获取时间戳（纳秒转微秒）
    val timestamp = surfaceTexture.timestamp / 1000

    // 渲染到编码器Surface
    eglSurface?.let { 
        GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT)
        // 绘制操作...
        EGL14.eglSwapBuffers(eglDisplay, it)
    }

    // 提交编码器缓冲区
    val bufferInfo = MediaCodec.BufferInfo()
    val outputBufferId = mediaCodec.dequeueOutputBuffer(bufferInfo, TIMEOUT_USEC)

    if (outputBufferId >= 0) {
        bufferInfo.presentationTimeUs = timestamp
        mediaMuxer.writeSampleData(trackIndex, outputBuffer, bufferInfo)
        mediaCodec.releaseOutputBuffer(outputBufferId, false)
    }
}

5. 性能优化要点

1. 缓冲区管理：
2. 合理设置MediaFormat的KEY_MAX_B_FRAMES

3. 使用异步模式处理编码输出

4. 线程模型：

5. 渲染线程与编码线程分离

6. 使用HandlerThread处理编码输出

7. 内存优化：

8. 复用纹理和缓冲区
9. 及时释放无用资源

6. 常见问题排查

• 症状：视频中有明显卡顿
• 检查PTS是否连续递增

• 确认帧率设置是否合理

• 症状：编码输出比实际时长

• 检查是否漏调releaseOutputBuffer

• 确认EGL上下文是否正确切换

• 症状：画面撕裂或错位

• 检查纹理坐标是否正确
• 确认SurfaceTexture的矩阵变换

扩展思考

这套方案不仅可以解决本地录制问题，稍加改造还可应用于：

1. 实时流媒体传输
2. 云端视频处理
3. AR/VR场景中的视频捕获

关键是要处理好网络状况下的帧率自适应和错误恢复机制。希望这篇文章能帮助你彻底解决视频编码中的帧重复问题！