DRED（神经网络冗余编码）是Opus音频编码器的新型带内FEC方案，相比传统FEC具有显著优势。其核心原理是利用神经网络提取语音的潜变量特征，而非直接复制波形数据。主要优势包括：1）在8-12kbps极低码率下仍能保持语音可懂度；2）可保护3-5帧数据，抗连续丢包；3）通过神经合成实现平滑降级，避免音质突变；4）针对语音特性优化，保留关键语义特征。实现上采用LPCNet特征提取和RDOVAE深度

本文介绍了Opus音频编解码器的关键功能与参数配置。主要包括：1）码率调节（6-510kbps）、丢包率自适应调整FEC冗余度；2）支持DTX静音检测、CBR/VBR编码模式切换；3）支持复杂度（0-10级）、声道数动态调整；4）提供VOIP、音乐和低延迟三种应用模式。文章还给出了Opus的编译安装命令，并参考了RFC6716标准。这些自适应网络参数使Opus能在不同场景下实现音质与带宽的最佳平衡

一、输入视频参数概览参数名称参数类型参数含义参数配置i_widthint视频图像的宽i_heightint视频图像的高i_cspint视频图像数据格式参见X264_CSP_XX定义i_bitdepthint位元深度默认是8bit。X264编码器支持...

一、整体思路上一篇《NetEQ之音频延时DelayManager计算》介绍了如何计算音频报文的网络延时，给系统需要缓存多长时间的音频数据，提供了数据支撑。webrtc会根据当前系统已经缓存包数和网络延时情况，决定给音频解码器发送播放方式，进行平滑处理。下面来介绍计算系统已经缓存包数的方法。二、实现原理1）计算公式系统已经缓存包数有三块组成：1、RTP数据包缓存；2、音频解码后PCM...

一、概述ffmpeg音频参数主要有如下四个：1、声道数（nb_channels）：常见的有单声道，双声道，5.1环绕立体声道。2、采样频率（nb_samples）：每秒钟取得声音样本的次数。如下图所示，把音频文件放大，实际上都是一个一个的点，一秒钟有多少个横坐标的点，就是该音频的采样频率。3、采样深度 （sample_fmt）：比特深度决定了文件的动态分辨率，类似照片分辨率。每个样本所含的比特越多

一、回声的产生无论是实际环境还是语音通话中，回声总是存在的。但是需要满足如下两个条件，我们才能感觉到回声的存在：1、回波通路延时足够长回波通路延时效果小于30ms不易察觉小于50ms有感知大于50ms影响严重，需要干预2、回波信号能量足够强也就是说，返回的回波信号必须足够强到，能让用户能够听见。在实时音频会议通话中，产生回声的主要来源有两点：电学回声、声学回声。二、回声的种类及抑制1、电学回声目前

std::unique_ptr frame里面挂了解码器的句柄，就是说每个报文都指定了自己的解码器句柄。std::unique_ptr stats_：更新报文之间时间间隔，用于确定jitterbuffer缓存时间。std::unique_ptr nack_：更新收包信息，便于确定需要nack重传的报文。封装输出音频PCM帧数据。

一、概述二、音频收包到渲染NetEqImpl::InsertPacketInternal函数与NetEqImpl::GetAudioInternal函数之间通过packet_buffer_共享队列传输音频报文数据。在NetEqImpl::InsertPacketInternal函数中入队音频报文、在NetEqImpl::ExtractPackets函数中出队报文。NetEq...

一、整体思路不像视频一帧数据那么大，音频一帧数据包都比较小，UDP的1500个字节完全可以装满一帧。所以音频在发送端的发送时间间隔是按照固定的打包时长节奏发送的。如上图以30ms打包时长为例，ABCD四个报文的发送时间间隔都是30ms。若没有网络影响，接收端的包间间隔也是30ms，音频播放清晰流畅。1）延时定义：二、实现原理三、参考...

一、概述音频的QOS可以分：音频前处理3A算法、NetEQ两大类。二、音频前处理3A算法1）AECAEC (Acoustic Echo Cancellation) 回声消除算法IOS和ANDROID系统都使用内置的AEC算法。只有windows使用webrtc的AEC算法。配置过程请参见WebRtcVoiceEngine::Init->WebRtcVoiceEn...