移动端视频压缩的挑战

在用户生成内容（UGC）场景中，视频上传始终面临带宽与画质的矛盾。以抖音为例，1080P视频直接上传需消耗约200MB流量，而经过合理压缩后可降至30MB左右。但过度压缩又会导致马赛克、色块等画质损失，影响用户体验。

FFmpeg vs MediaCodec核心技术对比

1. 架构差异

• FFmpeg：纯软件编解码，通过CPU运算实现H.264/H.265编码
• 优点：参数调节灵活，支持复杂滤镜链

• 缺点：CPU占用高（实测720P编码占用4核70%负载）

• MediaCodec：硬件加速编解码，调用芯片专用模块

• 优点：功耗低（相同任务功耗降低60%）、速度快
• 缺点：机型兼容性需处理（约15%低端机存在色偏问题）

2. 关键指标实测（720P->480P）

| 指标 | FFmpeg软编 | MediaCodec硬编 | |---------------|-----------|----------------| | 耗时(秒) | 8.2 | 1.7 | | PSNR(dB) | 32.5 | 30.8 | | 内存峰值(MB) | 220 | 90 |

AI智能码率分配实战

通过TensorFlow Lite实现动态码率控制模型：

// 输入Tensor定义：分辨率+运动复杂度+场景类型
val input = TensorBuffer.createFixedSize(intArrayOf(1, 3), DataType.FLOAT32)
input.loadArray(floatArrayOf(
    videoWidth.toFloat(), 
    motionScore, // 通过光流算法计算
    sceneType // 0=静态 1=动态
))

// 运行模型获取推荐码率(Mbps)
val outputs = tflite.run(input, null)
val bitrate = outputs.outputBuffer.floatArray[0] * 1000000

MediaCodec硬编完整实现

// 1. 创建编码器
val mediaFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, width, height)
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, bitrate)
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 30)
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2) // GOP大小

val encoder = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC)
encoder.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)

// 2. 使用Surface输入（避免YUV转换开销）
val surface = encoder.createInputSurface()
encoder.start()

// 3. 异步处理输出数据
val bufferInfo = MediaCodec.BufferInfo()
encoder.setCallback(object : MediaCodec.Callback() {
    override fun onOutputBufferAvailable(
        codec: MediaCodec,
        index: Int,
        info: MediaCodec.BufferInfo
    ) {
        val outputBuffer = codec.getOutputBuffer(index)
        // 写入MP4容器
        mp4Muxer.writeSampleData(videoTrack, outputBuffer, info)
        codec.releaseOutputBuffer(index, false)
    }
    //...其他回调省略
})

三大兼容性坑与解决方案

1. 华为部分机型色偏问题
2. 现象：输出视频严重偏绿

3. 解决：强制使用COLOR_FormatYUV420Flexible格式

   mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, 
       MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible)

4. 小米低端机编码崩溃

5. 现象：configure()抛出IllegalStateException

6. 解决：降低profile级别到Baseline

   mediaFormat.setInteger(MediaFormat.KEY_PROFILE, 
       MediaCodecInfo.CodecProfileLevel.AVCProfileBaseline)

7. OPPO机型帧率异常

8. 现象：实际输出帧率低于设置值
9. 解决：在KEY_FRAME_RATE基础上额外设置KEY_OPERATING_RATE

动手实验建议

尝试修改GOP（关键帧间隔）参数： 1. 设置KEY_I_FRAME_INTERVAL=1（高频关键帧） 2. 设置KEY_I_FRAME_INTERVAL=10（低频关键帧） 3. 对比观察： - 文件大小变化（高频关键帧增加15-20%体积） - 快速拖动进度条时的画质恢复速度

通过本次实践可以看出，MediaCodec硬编在绝大多数场景下是最优选择，配合AI码率分配可进一步提升压缩效率。但特定机型仍需做好兼容性兜底方案。