三：实时通信的本质

3.1 实时通信两种指标

• 延迟指标

  200ms以内：优质

  300ms以内：满意

  400ms以内：基本可以互动

  500ms以上：延迟明显

• 服务质量指标

  • 分辨率：屏幕上像素的多少，图像清晰度的上限
  • 帧率：每秒播放图像的数量，高清视频在60帧以上，低于15帧视频质量严重卡顿
  • 码率：压缩后每秒数据流的大小，原则上与分辨率正相关
  • MOS值：评估业务服务质量（1到5）

然而：降低延迟和增加码率是矛盾的

3.2 实时通信的主要矛盾的解决方案

主要矛盾：音视频服务质量与带宽大小，网络质量和实时性之间的矛盾

• 增加带宽

  多方实时通信场景中，服务质量是由网络最差的用户决定，因此增加带宽是指增加所有用户带宽

  具体方案：

  • 5G技术

  • 客户端方案（WebRTC所使用的方案）

    WebRTC采用选路方案：可以按照优先级选择质量最优的网络连接线路

  • 服务端方案

    1. 提供更优质的接入服务：提高用户终端接入的网络质量
    2. 保证云端网络的带宽和质量：保证云端内部网络质量
    3. 合理的路由调度策略：节点间合理的调度

• 减少数据量

  • 更高的压缩算法

  • SVC技术：将时频按照时间，空间和质量分成多层编码

  • Simulcast技术：视频编码出不同分辨率的多路码率上传给服务端，服务端根据用户带宽选择合适码流下发用户

    Simulcast优于SVC技术,上传的每路流可以单独解码

  • 动态码率：对用户的带宽进行评估，进一步控制码率

  • 甩帧或减少业务

• 适当增加时延

  将数据放到队列进行缓冲，以解决快播和卡顿

• 提高网络质量

  影响网络质量的因素：丢包（2-10%额可以接受），延迟（网络线路拥塞）和抖动（超过10ms抖动被视为丢包）

  • FEC前向纠错：使用异或操作传输数据，丢包时通过这种机制恢复丢包，适用于少量丢包
  • Jitter Buffer抖动缓冲技术：防抖动，将抖动较小的乱序包恢复
  • NetEQ：专用于音频控制
  • 拥塞控制

• 快速准确地评估带宽

WebRTC是按照上述五种方法来解决音视频服务质量