本文介绍了WebRTC中NetEQ网络延时计算的两种算法：针对单纯网络抖动的UnderrunOptimizer算法和针对丢包场景的ReorderOptimizer算法。前者通过IAT直方图以95%概率计算最大延时值，后者则通过计算延时成本与丢包成本的平衡点确定最优延时。DelayManager最终综合两种算法的最大值作为当前网络延时，为变速算法提供关键决策依据。文章详细解析了两种算法的实现原理和核

一、概述音频的QOS可以分：音频前处理3A算法、NetEQ两大类。二、音频前处理3A算法1）AECAEC (Acoustic Echo Cancellation) 回声消除算法IOS和ANDROID系统都使用内置的AEC算法。只有windows使用webrtc的AEC算法。配置过程请参见WebRtcVoiceEngine::Init->WebRtcVoiceEn...

一、问题描述1）预置条件1、配置webrtc抗丢包方法为FEC Only。启动配置的时候，可以选NACK Only 或FEC Only 或HARQ混合模式。为了测试webrtc的X264 FEC抗丢包性能，在启动配置的时候，选择FEC Only模式。配置方法请参考：VCMLossProtectionLogic::SetMethod2、使用Net...

一、概念SVC（可适性视频编码或可分级视频编码）是传统H.264/MPEG-4 AVC编码的延伸，可提升更大的编码弹性，并具有时间可适性（Temporal Scalability）、空间可适性（Spatial Scalability）及质量可适性（SNR/Quality/Fidelity scalability）三大特性，使视频传输更能适应在异质的网络带宽。二、概述SVC以AVC视频编...

一、视频显示流程图1）显卡工作流程图像或者视频数据一旦离开CPU，必须通过4个步骤，才会到达显示器：1、从总线进入GPU(Graphics Processing Unit,图形处理器)：将CPU送来的数据总线，再从总线送到GPU里面进行处理。2、从GPU进入帧缓冲存储器（或称显存)：将GPU芯片处理完的数据送到显存。3、从显存进入视频控制器：视频控制器有可能是DAC(Dig...

一、背景介绍音视频同步效果直接影响用户体验，音视频同步机制也是webrtc的核心模块之一。音视频同步的基本思想是，在接收端渲染前，对齐当前要渲染的音视频采集时间，要处理好三大块事情：音视频采集绝对时间、音视频传输时间、音视频同步时间。二、实现原理1）采集时间2）传输时间戳3）音视频同步三、参考https://www.jianshu.com/p/3a4d24a71091https://my.osch

一、协议链接https://tools.ietf.org/pdf/draft-holmer-rmcat-transport-wide-cc-extensions-01.pdf二、协议定义三、抓包示例四、参数说明version (V): 2 bits。固定是2。padding (P): 1 bit。feedback message type (FMT): 5 bits。TransportCC固定是1

一、单向抓包RTP数据列表报文分析：PT=111为opus音频数据。PT=124为opus音频的NACK报文。PT=127为H264视频数据。PT=125为H264视频的NACK报文，PT=107为H264视频的FlexFEC。二、PT为124音频报文NACKyuany

一、视频显示流程图1）显卡工作流程图像或者视频数据一旦离开CPU，必须通过4个步骤，才会到达显示器：1、从总线进入GPU(Graphics Processing Unit,图形处理器)：将CPU送来的数据总线，再从总线送到GPU里面进行处理。2、从GPU进入帧缓冲存储器（或称显存)：将GPU芯片处理完的数据送到显存。3、从显存进入视频控制器：视频控制器有可能是DAC(Dig...

ITU-R BT.1788 建议书对TI：temporal information、SI，Spatial perceptual Information的介绍。SI表征一帧图像的空间细节量。空间上越复杂的场景，SI值越高。SI计算方法：对第n帧视频进行Sobel滤波，然后对滤波后图像计算标准差。选这些帧中的最大值为SI。TI表征视频序列的时间变化量。运动程度较高的序列通常会有更高的TI值。TI计算方