本文梳理 WebRTC 的音频弱网对抗中的 NACK 机制的实现。音频的 NACK 机制在 WebRTC 中默认是关闭的，本文会介绍开启 NACK 机制的方法。

本文主要内容来自于 OpenCV-Python 教程 的 OpenCV 中的图像处理 部分，这部分的全部主要内容如下：改变色彩空间学习在不同色彩空间之间改变图像。另外学习跟踪视频中的彩色对象。图像的几何变换学习对图像应用不同的几何变换，比如旋转、平移等。图像阈值学习使用全局阈值、自适应阈值、Otsu 的二值化等将图像转换为二值图像。平滑图像学习模糊图像，使用自定义内核过滤图像等。形态变换了解形态学

Robot Operating System (ROS) 是一个得到广泛应用机器人系统的软件框架，它包含了一系列的软件库和工具用于构建机器人应用。从驱动到最先进的算法，以及强大的开发者工具，ROS 包含了开发一个机器人项目所需要的所有东西。且它们都是开源的。ROS 虽然名为机器人操作系统，但它与我们一般概念中的操作系统，如 Windows，Linux，iOS 和 Android 这些。Wind

WebRTC 一对一语音通话中的音频端到端延迟指从一个音频信号被发送端采集，到同一个信号被接收端播放出来这整个过程的时间。音频端到端延迟由多个阶段组成。音频端到端处理的冲采样、混音、回声和降噪等操作会使音频数据在数值上变得面目全非，变得难以比较。真正的音频端到端延迟一般使用专业的声卡设备配上专门的音频处理软件来测，这种测试在线上环境中是难以实现的。音频端到端分段延迟常常也能在很大程度上反应音频端到

基于 RTC 场景下要解决的声音的问题，WebRTC 有一个大体如下图所示的音频处理流水线：WebRTC 的音频处理流水线，不是一次性建立起来的，而是分阶段分步骤建立的。整体而言，可以认为这个流水线分两个阶段建立，或者可以认为这个流水线分为两部分：一部分可称为静态流水线，另一部分可称为动态流水线，或者也可以称为前端和后端。静态流水线，在某个时间点建立一次，随后在整个 WebRTC 通信过程中基..

WebRTC 的音频数据处理发送的概念抽象层面的完整流程如下：用于控制各个操作系统平台的音频设备，主要用来做音频的采集和播放。 是一个适配和胶水模块，它把的音频数据采集和的音频数据处理及 / 的音频数据编码和发送控制粘起来， 把采集的音频数据送给处理，之后再把处理后的数据给到 / 编码发送出去。 用于做音频数据处理，如降噪、自动增益控制和回声消除等。/ 用于对音频数据做编码，比如 OPUS、AAC

本文梳理 WebRTC 的音频弱网对抗中的 NACK 机制的实现。音频的 NACK 机制在 WebRTC 中默认是关闭的，本文会介绍开启 NACK 机制的方法。

曾经整理过一个 WebRTC 音频发送和接收处理的关键过程，WebRTC Audio 接收和发送的关键过程 ，不过之前的分析是基于比较老的版本做的。分析所基于的应用程序，依然选择 WebRTC 的示例应用 peerconnection_client。这里基于 WebRTC 比较新的 M96 版的代码，再来看下音频发送和接收处理过程。1. 创建 JsepTransportController#0we

Android 系统的守护进程 audioserver 中运行着多个与音频相关的系统服务，主要包括和，当需要支持 AAudio 的 MMap 模式时，会运行。需要启动服务时，audioserver 程序会 fork 一个进程运行其它那些系统服务，在父进程中运行，并将进程名修改为。

在 Android Java 应用中，一般用管理从平台的音频输入设备采集音频数据所需的资源。音频采集和音频播放密切关系，Android 系统中 Java和AudioTrack在许多方面，都有着很高的相似性，无论是代码的目录组织，还是整个类的接口设计和实现结构，但它们也有着不小的区别。对比来看 Java和AudioTrack的实现，有助于我们对音频的播放和采集做更好地理解。的 Java 代码位于，它