背景痛点

在UI叠加场景（如AR贴纸、游戏特效）中，带Alpha通道的MP4视频面临三大核心问题：

• 默认解码丢Alpha：MediaPlayer解码时会丢弃透明度信息，输出RGB24格式
• 内存压力大：RGBA8888格式比YUV420P多占用33%内存（测试数据见后文）
• 渲染兼容性差：不同Android版本对SurfaceTexture的透明通道支持不一致

技术方案对比

| 解码方式 | Alpha支持 | 1080P功耗 | 兼容性 | |----------------|-----------|-----------|--------------| | FFmpeg软解 | 完整保留 | 320mA | API 16+ | | MediaCodec硬解 | 需特殊配置| 180mA | 部分机型异常|

核心实现步骤

1. 轨道分离与解码配置

   val extractor = MediaExtractor().apply {
       setDataSource(path)
       val videoTrack = (0 until trackCount).first { 
           getTrackFormat(it).getString(MediaFormat.KEY_MIME)?.startsWith("video/") ?: false 
       }
       selectTrack(videoTrack)
   }
   
   // 关键：请求支持Alpha的ColorFormat
   val format = MediaFormat().apply {
       setInteger(MediaFormat.KEY_COLOR_FORMAT, 
           MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible)
   }

2. GLSL着色器处理

   // 顶点着色器
   uniform mat4 uMVPMatrix;
   attribute vec4 aPosition;
   attribute vec2 aTexCoord;
   varying vec2 vTexCoord;
   
   void main() {
       gl_Position = uMVPMatrix * aPosition;
       vTexCoord = aTexCoord;
   }
   
   // 片段着色器（YUV+Alpha混合）
   varying vec2 vTexCoord;
   uniform sampler2D uYTexture;
   uniform sampler2D uUTexture;
   uniform sampler2D uVTexture;
   uniform sampler2D uAlphaTexture;
   
   void main() {
       vec3 yuv = vec3(
           texture2D(uYTexture, vTexCoord).r,
           texture2D(uUTexture, vTexCoord).r - 0.5,
           texture2D(uVTexture, vTexCoord).r - 0.5
       );
       vec3 rgb = mat3(1.0, 1.0, 1.0,  // 简化版转换矩阵
                       0.0, -0.39465, 2.03211,
                       1.13983, -0.58060, 0.0) * yuv;
       gl_FragColor = vec4(rgb, texture2D(uAlphaTexture, vTexCoord).r);
   }

性能优化数据

| 颜色格式 | 内存占用(MB) | 帧率(fps) | GPU负载 | |--------------|--------------|-----------|---------| | YUV420P | 8.3 | 58 | 中 | | RGBA8888 | 12.4 | 47 | 高 |

关键避坑指南

1. Android 9+绿屏问题

   // 在SurfaceTextureListener中处理销毁重建
   textureView.setSurfaceTextureListener(object : TextureView.SurfaceTextureListener {
       override fun onSurfaceTextureDestroyed(surface: SurfaceTexture): Boolean {
           // 必须主动释放纹理
           surface.release()
           return false // 禁止系统自动回收
       }
   })

2. ByteBuffer泄漏预防

   fun releaseDecoder() {
       decoder?.stop()
       decoder?.apply {
           // 必须重置buffer防止内存泄漏
           outputBuffers?.forEach { it?.clear() }
           inputBuffers?.forEach { it?.clear() }
           release()
       }
   }

延伸方向

HEVC+Alpha方案相比VP9的优势： - 压缩率提升40% - 支持10bit色深 - 硬件解码普及率已达87%（2023年数据）

建议测试流程： 1. 使用libx265编码测试视频 2. 配置MediaCodec的HEVC解码器 3. 对比相同码率下的PSNR指标