音视频同步的典型痛点

在直播推流场景中，观众端经常遇到「口型对不上」的问题；而在本地播放器开发时，快进/快退操作后音画偏移更是高频故障。这些现象的本质都是音频轨道和视频轨道的时间轴未能正确对齐。

同步核心机制解析

1. 时间戳基础概念

• PTS（Presentation Time Stamp）：决定帧何时显示
• DTS（Decoding Time Stamp）：决定帧何时解码（B帧场景下与PTS不同）
• BaseTime：系统时钟基准，通常取自System.nanoTime()

2. 渲染路径差异

| 组件 | 延迟来源 | 同步方式 | |---------------|--------------------------|-----------------------| | SurfaceView | GPU渲染队列 | VSync信号同步 | | AudioTrack | ALSA缓冲区 | 硬件中断触发 |

关键代码实现

时间戳校准处理（Kotlin）

// 处理时间戳回绕（33天溢出问题）
fun adjustTimestamp(pts: Long): Long {
    val MAX_PTS = 0x1FFFFFFFFL // 33位最大值
    return when {
        pts < lastPts && (lastPts - pts) > MAX_PTS/2 -> 
            pts + (MAX_PTS - lastPts)
        pts > lastPts && (pts - lastPts) > MAX_PTS/2 -> 
            pts - (MAX_PTS + lastPts)
        else -> pts
    }.also { lastPts = it }
}

Choreographer帧同步

// 视频渲染同步到显示刷新率
choreographer.postFrameCallback(object : Choreographer.FrameCallback {
    override fun doFrame(frameTimeNanos: Long) {
        val nextFramePts = calculateNextFrameTime()
        if (nextFramePts <= frameTimeNanos) {
            renderFrame()
        }
        choreographer.postFrameCallback(this)
    }
})

性能优化实战

1. 版本兼容处理

• Android 5.0+：使用Surface.setFrameRate()
• Android 7.0+：MediaCodec.setOutputSurface()支持动态切换

2. 内存抖动诊断

adb shell dumpsys meminfo <package_name> 
# 观察Graphics和CodecHeap的波动

3. 硬件加速权衡

• 优点：降低CPU负载20%-40%
• 风险：部分芯片组的DSP时钟与系统时钟存在漂移

进阶思考

1. 动态帧率场景下，如何根据电池温度和CPU负载自动调整同步策略？
2. ExoPlayer在DefaultLoadControl中如何协调缓冲与同步的关系？
3. 通过Binder传递MediaCodec缓冲区时，怎样保证跨进程时间戳一致性？

经验总结：音视频同步本质是「时钟域转换」问题，需要同时考虑系统时钟、媒体时钟、硬件时钟三者的映射关系。在实际项目中，建议用SyncSampleQueue作为中间层来隔离不同速率的数据流。