在 Android 音视频开发中，MediaCodec 和 MediaMuxer 是处理音视频编码和封装的核心技术。本文将详细介绍如何使用这两个组件实现高效的音视频处理流程，帮助开发者解决常见的编码和封装问题。

背景痛点

音视频开发中，开发者常遇到以下问题：

• 参数配置复杂：编码器的参数配置需要深入了解音视频格式，如帧率、比特率、关键帧间隔等。
• 同步问题：音视频数据的同步处理容易出错，导致音画不同步或播放卡顿。
• 性能瓶颈：编码和封装过程可能占用大量 CPU 资源，影响设备性能。

技术选型对比

与其他音视频处理方案相比，MediaCodec + MediaMuxer 有以下优势：

• 原生支持：Android 原生 API，兼容性好，性能优化充分。
• 低延迟：直接操作硬件编码器，减少中间处理环节。
• 灵活性：支持多种音视频格式和编码参数配置。

核心实现细节

1. 初始化 MediaCodec
2. 选择合适的编码器（如 H.264 或 AAC）。
3. 配置编码参数，包括分辨率、帧率、比特率等。

4. 创建并启动编码器。

5. 数据输入输出

6. 通过输入缓冲区将原始数据（如 Camera 数据或音频 PCM 数据）送入编码器。

7. 从输出缓冲区获取编码后的数据（如 H.264 或 AAC 数据）。

8. 同步机制

9. 使用时间戳确保音视频数据的同步。

10. 处理编码器的输出缓冲区，避免数据丢失或重复。

11. MediaMuxer 封装

12. 创建 MediaMuxer 实例，指定输出文件格式（如 MP4）。
13. 添加音视频轨道，并将编码后的数据写入文件。

代码示例

以下是一个简单的代码示例，展示如何配置 MediaCodec 和 MediaMuxer：

// 初始化 MediaCodec
MediaCodec videoCodec = MediaCodec.createEncoderByType("video/avc");
MediaFormat videoFormat = MediaFormat.createVideoFormat("video/avc", width, height);
videoFormat.setInteger(MediaFormat.KEY_BIT_RATE, bitRate);
videoFormat.setInteger(MediaFormat.KEY_FRAME_RATE, frameRate);
videoFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, iFrameInterval);
videoCodec.configure(videoFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
videoCodec.start();

// 初始化 MediaMuxer
MediaMuxer muxer = new MediaMuxer(outputPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
int videoTrackIndex = muxer.addTrack(videoCodec.getOutputFormat());
muxer.start();

// 编码和封装流程
while (!isFinished) {
    int inputBufferId = videoCodec.dequeueInputBuffer(timeoutUs);
    if (inputBufferId >= 0) {
        ByteBuffer inputBuffer = videoCodec.getInputBuffer(inputBufferId);
        // 填充输入数据
        videoCodec.queueInputBuffer(inputBufferId, ...);
    }

    MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
    int outputBufferId = videoCodec.dequeueOutputBuffer(bufferInfo, timeoutUs);
    if (outputBufferId >= 0) {
        ByteBuffer outputBuffer = videoCodec.getOutputBuffer(outputBufferId);
        // 写入封装器
        muxer.writeSampleData(videoTrackIndex, outputBuffer, bufferInfo);
        videoCodec.releaseOutputBuffer(outputBufferId, false);
    }
}

// 释放资源
videoCodec.stop();
videoCodec.release();
muxer.stop();
muxer.release();

性能与安全性考量

• 性能优化：
• 选择合适的编码参数，避免过高的比特率或分辨率。
• 使用异步模式处理输入输出缓冲区，减少主线程阻塞。

• 避免频繁创建和销毁编码器，复用实例以提高性能。

• 安全性：

• 确保输入数据的合法性，防止恶意数据导致编码器崩溃。
• 处理异常情况，如编码器初始化失败或缓冲区溢出。

生产环境避坑指南

• 线程同步：编码和封装过程可能涉及多线程操作，确保线程安全。
• 异常处理：捕获并处理编码器和封装器的异常，避免应用崩溃。
• 资源释放：及时释放编码器和封装器资源，避免内存泄漏。

互动引导

希望通过本文，你能掌握 MediaCodec 和 MediaMuxer 的基本用法。动手实践是学习的最佳方式，建议你尝试实现一个简单的音视频录制功能，并进一步探索以下内容：

• 如何实现音视频的实时传输？
• 如何处理不同设备的编码器兼容性问题？

如果需要进一步学习，可以参考 Android 官方文档或相关的开源项目。