1 音频处理流程

音频处理流程,可以分为采集端和播放端两部分。这里是为了展示处理的全流程,对应每一个点都是一个技术点后续将展开描述。

在这里插入图片描述

2 音频采集流程

采集端将音频模拟信号转换为数字信号,进入音频处理模块,包括音频增益、噪声抑制、混音等操作。编码是将处理好的数据进行编码压缩,便于减少网络传输带宽占用。某些需要安全传输的数据会先经过加密阶段,将原始数据加密。最后是网络传输协议格式的封装,目前比较多是封装成rtp数据包进行传输。
在这里插入图片描述

3 音频播放流程

播放流程可以看成是采集流程的逆过程。数据首先从网络进行接收,一般是会先进行数据的解封装得到实际的音频数据。如果是加密数据,先进行数据的解密,将数据还原。然后是利用解码器根据编码的格式进行解码,得到原始的数据。由于数据可能存在问题,需要进一步处理包括噪声抑制、回音消除、自动增益等过程,也可能需要混音,最终得到PCM数据,将PCM数据传入播放器进行播放。当然会涉及到一些播放框架如Alsa。
在这里插入图片描述

Logo

致力于链接即构和开发者,提供实时互动和元宇宙领域的前沿洞察、技术分享和丰富的开发者活动,共建实时互动世界。

更多推荐