第1章 传统语音增强方法概述

传统语音增强方法以线性信号处理与统计建模为核心，主要包括谱减法、维纳滤波、基于统计模型的方法等，其核心思路是基于语音与噪声的统计特性差异，通过数学运算分离噪声分量。

谱减法是最经典的语音增强算法，通过计算带噪语音的功率谱与噪声功率谱的差值，得到估计的干净语音谱，具有计算简单、实时性强的特点。维纳滤波以最小均方误差为准则，构建最优线性滤波器，能够在平稳噪声环境下有效抑制噪声，提升语音信噪比。基于统计模型的方法以隐马尔可夫模型、高斯混合模型为代表，通过对语音与噪声的概率分布建模，实现更稳健的噪声估计与语音恢复。

然而，传统方法存在显著局限性：一是依赖语音与噪声的平稳性假设，对交通、人声、机械等非平稳噪声处理效果差，噪声残留严重；二是易引入音乐噪声、语音失真等伪影，破坏语音自然度；三是依赖人工设计特征与参数调优，泛化能力弱，难以适配多场景、多噪声类型的复杂环境。这些缺陷制约了传统方法在实际场景中的应用，也推动了语音增强向深度学习方向转型。

第2章 基于深度学习的语音增强方法

深度学习凭借端到端建模、自主特征学习、高维非线性拟合能力，成为语音增强的主流技术路线。按照网络架构与建模思路，可分为基于 DNN/RNN、CNN、GAN、Transformer / 自注意力机制四大类，其中掩码法与映射法是两种核心监督学习范式。

2.1 基于 DNN/RNN 的方法

深度神经网络（DNN）是深度学习应用于语音增强的早期方案，以多层全连接结构为核心，分为映射法与掩码法两类。映射法直接学习带噪语音特征到干净语音特征的非线性映射，通常以对数梅尔谱、幅度谱为输入与输出，通过均方误差损失优化，实现语音谱的直接恢复。掩码法不直接恢复语音，而是估计时频域掩码，通过掩码与带噪语音谱相乘得到干净语音，其中理想二值掩码（IBM）以 0/1 二值形式判断时频单元是否包含语音，理想比率掩码（IRM）以连续值权重保留语音分量、抑制噪声，更符合人耳感知特性。

循环神经网络（RNN）及其变体 LSTM、GRU 针对语音的时序依赖性设计，能够捕捉语音帧间的长时上下文信息，解决 DNN 无法建模时序关联的缺陷。双向 LSTM/GRU 可同时利用过去与未来帧的信息，进一步提升掩码估计与频谱映射精度，在连续语音流增强中表现更优。基于 RNN 的方法在低信噪比场景中仍能保持较好的语音可懂度，成为早期实时语音增强的常用架构。

2.2 基于 CNN 的方法

卷积神经网络（CNN）凭借局部感受野、权值共享特性，高效捕获语音时频图的局部结构特征，成为语音增强的主流架构。时频域 CNN 以语音的时频图谱为输入，通过多层卷积与池化提取频谱纹理、共振峰等局部特征，实现噪声抑制与语音细节保留。全卷积网络（FCN）去除全连接层，实现像素级（时频单元级）的端到端输出，降低模型参数量与计算量。

1. Net 结构在语音增强中得到广泛应用，其编码器–解码器加跳跃连接的设计，能够在下采样提取全局特征的同时，通过跳跃连接保留高分辨率局部细节，有效缓解语音失真与频谱模糊。复数域 CNN 进一步拓展了传统 CNN 的能力，直接对语音的复频谱（幅度与相位）联合建模，解决传统方法仅优化幅度、相位估计不准导致的语音失真问题，显著提升增强语音的自然度。

2.3 基于 GAN 的方法

生成对抗网络（GAN）以生成器与判别器的对抗训练为核心，追求增强语音的真实感与自然度，解决传统方法语音失真、听觉不自然的问题。语音增强生成对抗网络（SEGAN）是该领域的经典模型，以时域波形为输入输出，实现端到端无监督 / 弱监督增强，避免时频变换带来的信息损失。MetricGAN 将语音质量评价指标（如 PESQ、STOI）嵌入对抗损失，直接以感知指标为优化目标，使增强语音更符合人耳听觉特性。

基于 GAN 的方法能够生成高保真、无音乐噪声的语音，在主观听觉质量上优势显著，但存在训练不稳定、模式崩溃、计算复杂度较高等问题，需结合梯度惩罚、谱归一化等技术优化训练过程，兼顾降噪效果与语音保真度。

2.4 基于 Transformer / 自注意力机制的方法

Transformer 凭借自注意力机制，能够建模语音信号的长程依赖关系，突破 CNN 局部感受野、RNN 时序串行计算的局限，在复杂噪声与长语音序列增强中表现突出。自注意力机制可动态加权不同时频单元的关联，精准区分语音与噪声分量，提升弱语音片段的恢复能力。

Conformer 结构结合卷积与自注意力的优势，通过卷积捕获局部时频特征，通过自注意力建模全局依赖，兼顾局部细节与全局上下文，成为当前语音增强的主流 SOTA 架构。基于 Transformer/Conformer 的方法在 DNS Challenge 等国际竞赛中取得优异成绩，在低信噪比、非平稳噪声、混响叠加场景中，大幅提升语音质量与可懂度，成为工业级语音增强系统的核心选型。

第3章 常用数据集与评价指标

3.1 常用数据集

语音增强研究依赖标准化数据集支撑模型训练与测试，主流数据集包括 TIMIT、WSJ0、DNS Challenge 等。TIMIT 是经典的英文语音数据集，包含 630 名说话人的语音片段，标注丰富，常用于基础算法验证与模型调试。WSJ0 数据集规模更大，语音覆盖场景多样，常与噪声库混合构建带噪语音数据，适用于复杂场景下的模型训练。DNS Challenge（Deep Noise Suppression Challenge）是微软主办的国际竞赛数据集，包含海量真实场景噪声、混响语音，贴近实际应用环境，已成为语音增强算法的标准评测基准，推动了实用化降噪技术的发展。

3.2 评价指标

语音增强评价分为客观指标与主观评价，客观指标以全参考为主，常用指标包括 PESQ、STOI、SNR、SDR。感知语音质量评估（PESQ）是 ITU-T 标准指标，分值范围 - 0.5 至 4.5，模拟人耳听觉感知，综合衡量语音失真与噪声残留，分值越高音质越好。短时客观可懂度（STOI）聚焦语音可懂度，取值 0 至 1，值越接近 1 表示语音越清晰易辨。信噪比（SNR）与分段信噪比（SegSNR）衡量噪声抑制程度，反映语音信号的能量提升。信号失真比（SDR）衡量目标语音与干扰、失真的分离程度，在多噪声、混响场景中更具参考价值。这些指标相互补充，全面评估增强算法的降噪能力、语音保真度与可懂度。

第4章 发展趋势与挑战

尽管深度学习语音增强技术取得显著突破，在实验室环境中实现优异性能，但面向实际部署与复杂场景，仍面临诸多挑战，同时呈现出清晰的发展趋势。

第一，实时性要求与模型轻量化是核心工程挑战。智能耳机、可穿戴设备、车载终端等边缘端平台算力有限，对模型参数量、计算量、推理延迟提出严格要求。当前大模型虽性能优异，但难以直接部署，未来需聚焦轻量化架构设计，结合深度可分离卷积、模型剪枝、量化、知识蒸馏等技术，在保持性能的前提下，实现模型小型化、低功耗、低延迟，满足端侧实时降噪需求。

第二，未知噪声泛化能力不足是关键技术瓶颈。现有模型多在特定噪声数据集上训练，面对训练集未覆盖的噪声类型、声学环境时，性能急剧下降。实际场景中噪声复杂多变，需提升模型的跨域泛化与鲁棒性，探索自监督学习、小样本学习、域自适应等方法，减少对标注数据的依赖，实现对未知噪声的自适应抑制。

第三，多场景自适应增强需求日益迫切。不同场景（室内、室外、车载、会议）的噪声特性、混响强度、说话人状态差异显著，单一模型难以适配所有场景。未来需研发场景感知、噪声分类的自适应增强系统，根据实时声学环境动态调整模型参数与降噪策略，实现多场景、多噪声类型的一体化优化。

第四，与语音识别等下游任务的联合优化成为重要方向。语音增强的最终目标是提升下游任务性能，传统独立优化增强模型易引入失真，损害识别精度。通过构建端到端联合建模框架，将增强模块与语音识别、声纹识别、语音合成等模块联合训练，实现特征共享、损失协同优化，使增强语音更适配下游任务，提升整体系统性能。

此外，相位信息精准建模、多通道语音增强、低资源语言与小样本增强、无参考评价体系构建等，也是当前研究的热点与难点，推动语音增强技术向更实用、更智能、更普惠的方向发展。

第5章 结论

语音增强技术从传统信号处理到深度学习的演进，实现了从人工规则建模到数据驱动自主学习的范式革新。传统方法在平稳噪声场景中具备实时性优势，但难以应对复杂非平稳噪声；深度学习方法凭借 DNN、RNN、CNN、GAN、Transformer 等架构，在噪声抑制、语音保真、可懂度提升上实现质的飞跃，成为主流技术路线。当前，语音增强面临轻量化部署、跨域泛化、多场景自适应、下游任务联合优化等挑战，未来需结合轻量化设计、自监督学习、端云协同、多模态融合等技术，突破性能与工程化的平衡，推动语音增强在智能交互、通信、医疗、车载等领域的广泛落地，为高质量语音服务提供核心支撑。

参考文献

[1] 胡航. 语音信号处理[M]. 哈尔滨:哈尔滨工业大学出版社,2020.

[2] 王玉龙, 李婉月, 刘珩. 基于深度学习的语音增强技术研究综述[J]. 计算机工程与应用,2021,57(12):1-10.

[3] 徐明星, 杨绿溪. 传统与深度学习语音增强算法对比研究[J]. 信号处理,2020,36(08):1321-1330.

[4] Pascual S, Bonafonte A, Serra J. SEGAN: Speech enhancement generative adversarial network[C]//Proceedings of the 18th International Conference on Spoken Language Processing. 2017:3642-3646.

[5] 张亚红, 陈雪飞. 基于U-Net的时域语音增强算法优化研究[J]. 微电子学与计算机,2022,39(05):68-74.

[6] 李乐, 王超, 张明. 基于Conformer的复杂场景语音增强方法[J]. 计算机应用研究,2023,40(02):512-516.

[7] Fu S W, Liao C F, Tsao Y, et al. MetricGAN-U: Unsupervised speech enhancement based on metric generative adversarial network[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing,2021,29:1849-1863.

[8] 刘建伟, 王圆, 罗雄麟. 循环神经网络及其变体在语音处理中的应用综述[J]. 控制与决策,2020,35(07):1537-1548.

[9] 陈曦, 赵晓林. 深度学习语音增强模型轻量化研究进展[J]. 信息技术,2022,46(09):1-7.

[10] Reddy C K, Gopal V, Cutler R. DNS Challenge 2020: Deep noise suppression challenge[C]//ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE,2021:8453-8457.