一、协议链接https://tools.ietf.org/pdf/draft-holmer-rmcat-transport-wide-cc-extensions-01.pdf二、协议定义三、抓包示例四、参数说明version (V): 2 bits。固定是2。padding (P): 1 bit。feedback message type (FMT): 5 bits。TransportCC固定是1

一、整体思路上一篇《NetEQ之音频延时DelayManager计算》介绍了如何计算音频报文的网络延时，给系统需要缓存多长时间的音频数据，提供了数据支撑。webrtc会根据当前系统已经缓存包数和网络延时情况，决定给音频解码器发送播放方式，进行平滑处理。下面来介绍计算系统已经缓存包数的方法。二、实现原理1）计算公式系统已经缓存包数有三块组成：1、RTP数据包缓存；2、音频解码后PCM...

一、整体思路不像视频一帧数据那么大，音频一帧数据包都比较小，UDP的1500个字节完全可以装满一帧。所以音频在发送端的发送时间间隔是按照固定的打包时长节奏发送的。如上图以30ms打包时长为例，ABCD四个报文的发送时间间隔都是30ms。若没有网络影响，接收端的包间间隔也是30ms，音频播放清晰流畅。1）延时定义：二、实现原理三、参考...

一、回声的产生无论是实际环境还是语音通话中，回声总是存在的。但是需要满足如下两个条件，我们才能感觉到回声的存在：1、回波通路延时足够长回波通路延时效果小于30ms不易察觉小于50ms有感知大于50ms影响严重，需要干预2、回波信号能量足够强也就是说，返回的回波信号必须足够强到，能让用户能够听见。在实时音频会议通话中，产生回声的主要来源有两点：电学回声、声学回声。二、回声的种类及抑制1、电学回声目前

std::unique_ptr frame里面挂了解码器的句柄，就是说每个报文都指定了自己的解码器句柄。std::unique_ptr stats_：更新报文之间时间间隔，用于确定jitterbuffer缓存时间。std::unique_ptr nack_：更新收包信息，便于确定需要nack重传的报文。封装输出音频PCM帧数据。

一、概述ffmpeg音频参数主要有如下四个：1、声道数（nb_channels）：常见的有单声道，双声道，5.1环绕立体声道。2、采样频率（nb_samples）：每秒钟取得声音样本的次数。如下图所示，把音频文件放大，实际上都是一个一个的点，一秒钟有多少个横坐标的点，就是该音频的采样频率。3、采样深度 （sample_fmt）：比特深度决定了文件的动态分辨率，类似照片分辨率。每个样本所含的比特越多

一、单向抓包RTP数据列表报文分析：PT=111为opus音频数据。PT=124为opus音频的NACK报文。PT=127为H264视频数据。PT=125为H264视频的NACK报文，PT=107为H264视频的FlexFEC。二、PT为124音频报文NACKyuany

一、基本框架VMAF是一种Full-reference的视频质量评估方法，主要包括三种指标：视觉信息保真度（VIF：visual quality fidelity）、细节损失指标（DLM：detail loss measure）、时域运动指标/平均相关位置像素差（TI：temporal information）。其中VIF和DLM是空间域的，一帧画面之内的特征。TI 是时间域的，多帧画面之间相关性

一、视频显示流程图1）显卡工作流程图像或者视频数据一旦离开CPU，必须通过4个步骤，才会到达显示器：1、从总线进入GPU(Graphics Processing Unit,图形处理器)：将CPU送来的数据总线，再从总线送到GPU里面进行处理。2、从GPU进入帧缓冲存储器（或称显存)：将GPU芯片处理完的数据送到显存。3、从显存进入视频控制器：视频控制器有可能是DAC(Dig...

ITU-R BT.1788 建议书对TI：temporal information、SI，Spatial perceptual Information的介绍。SI表征一帧图像的空间细节量。空间上越复杂的场景，SI值越高。SI计算方法：对第n帧视频进行Sobel滤波，然后对滤波后图像计算标准差。选这些帧中的最大值为SI。TI表征视频序列的时间变化量。运动程度较高的序列通常会有更高的TI值。TI计算方