在开发基于FFmpeg和SDL的视频播放器时，音视频同步是个让人头疼的问题。今天我们就来聊聊如何通过正确处理PTS和DTS来解决这个问题。

为什么要关注PTS和DTS？

PTS（Presentation Time Stamp）和DTS（Decoding Time Stamp）是视频播放中的两个关键时间戳。简单来说：

• DTS告诉解码器什么时候解码这一帧
• PTS告诉播放器什么时候显示这一帧

对于没有B帧的视频，这两个值通常是一致的。但一旦视频中包含B帧，情况就复杂了：

1. B帧需要依赖前后的帧来解码
2. 解码顺序和显示顺序就会不同
3. 这时候PTS和DTS就会出现差异

常见问题场景

在实际开发中，我们经常会遇到这些问题：

• 视频卡顿或跳帧
• 音画不同步
• 快进/快退后同步失效

这些问题大多源于对时间戳处理不当。

技术实现方案

1. 解码流程优化

现代FFmpeg（libavcodec58+）推荐使用新的API：

// 发送数据包进行解码
avcodec_send_packet(codec_ctx, packet);

// 接收解码后的帧
while (avcodec_receive_frame(codec_ctx, frame) == 0) {
    // 处理解码后的帧
}

相比旧API，这种方式的错误处理和资源管理更加合理。

2. 帧缓冲队列设计

我们需要一个智能的缓冲系统来管理解码后的帧：

class FrameQueue {
public:
    void push(AVFrame* frame) {
        std::unique_lock<std::mutex> lock(mutex_);
        // 按PTS排序插入
        auto it = std::lower_bound(frames_.begin(), frames_.end(), frame, 
            [](const auto& a, const auto& b) { return a->pts < b->pts; });
        frames_.insert(it, frame);
    }

    AVFrame* pop() {
        std::unique_lock<std::mutex> lock(mutex_);
        if (frames_.empty()) return nullptr;
        AVFrame* frame = frames_.front();
        frames_.pop_front();
        return frame;
    }

private:
    std::deque<AVFrame*> frames_;
    std::mutex mutex_;
};

3. 时间同步控制

核心同步算法需要考虑：

1. 音频时钟作为主时钟
2. 视频帧根据音频时钟调整显示时机
3. 动态调整阈值防止频繁调整

// 计算显示延迟
double delay = frame->pts * av_q2d(stream->time_base) - audio_clock;

// 控制显示时机
if (delay > 0) {
    // 如果视频超前，稍等一会儿
    SDL_Delay(delay * 1000);
} else if (delay < -0.1) {
    // 如果落后太多，考虑丢帧
    drop_frame = true;
}

避坑指南

1. 不要直接使用pkt_dts：这个值可能不准确，特别是对于某些格式的视频
2. 处理AV_NOPTS_VALUE：不是所有帧都有有效的时间戳，需要容错处理
3. 正确转换time_base：使用av_q2d将时间戳转换为秒

性能优化建议

• 测试不同队列深度（3-10帧）对CPU使用率的影响
• 关注SDL_RenderPresent的VSync延迟
• 考虑使用硬件加速解码

思考题

如何实现动态调整的同步阈值？当网络状况变化时，怎样自动调整同步策略？

希望这篇笔记能帮助你解决播放器开发中的同步问题。记住，时间戳处理是播放器开发中最需要精细控制的部分之一，耐心调试是关键！