---

背景痛点：为什么需要语音预处理？

语音识别系统(ASR)的输入质量直接影响识别准确率。实际场景中常遇到三类典型问题：

• 采样率不一致：不同设备采集的音频可能使用8kHz/16kHz/44.1kHz等不同采样率，导致模型输入维度不匹配
• 背景噪声：环境噪声（如键盘敲击、空调声）会掩盖有效语音频段，使词错误率(WER)上升20%以上
• 混响效应：会议室等封闭空间产生的回声会造成语音信号重叠，特别是影响辅音识别

技术方案对比：传统VS深度学习

传统数字滤波（如Butterworth）

• 优点：计算量小，实时性好，适合嵌入式设备
• 缺点：需手动设计截止频率，对非平稳噪声效果差

深度学习降噪（如RNNoise）

• 优点：自适应噪声类型，可处理复杂声学环境
• 缺点：需要大量训练数据，推理延迟较高

核心实现步骤

1. 预加重(Pre-emphasis)

语音信号高频能量通常较弱，通过一阶FIR滤波器增强高频成分：

def preemphasis(signal, coeff=0.97):
    return np.append(signal[0], signal[1:] - coeff * signal[:-1])

数学原理：$y[n] = x[n] - \alpha x[n-1]$ （典型α取0.95-0.97）

2. 分帧加窗(Framing & Windowing)

1. 将连续音频切分为20-40ms的帧（步长通常10ms）
2. 应用汉明窗减少频谱泄漏：

   frames = librosa.util.frame(signal, frame_length=400, hop_length=160)
   windowed = frames * np.hamming(400)

3. MFCC特征提取优化

关键参数调优建议：

mfcc = librosa.feature.mfcc(
    y=audio,
    sr=16000,
    n_mfcc=13,      # 推荐13-26维
    n_fft=512,      # 平衡时频分辨率
    n_mels=40,      # 英语常用40，中文可试80
    fmax=8000       # 成人语音主要能量范围
)

4. 语音活动检测(VAD)

基于短时能量的简单实现：

def vad(signal, sr, threshold=0.03):
    energy = np.sum(np.abs(signal)**2) / len(signal)
    frames = librosa.util.frame(signal, frame_length=int(0.02*sr), hop_length=int(0.01*sr))
    is_speech = [np.sum(f**2)/len(f) > energy*threshold for f in frames.T]
    return is_speech

生产环境考量

实时性优化

• FFT窗口选择：
• 16kHz采样率下，512点FFT（32ms）平衡延迟与分辨率
• 移动端可降至256点

多语言适配

• 调整Mel滤波器组：
• 中文：上限频率设为8kHz（覆盖更多清辅音）
• 阿拉伯语：增加低频滤波器数量

避坑指南

• 频谱泄漏：避免使用矩形窗，优先选择汉明窗或汉宁窗
• 低信噪比处理：
• 先做谱减法(spectral subtraction)
• 结合维纳滤波(Wiener Filter)
• 动态调整VAD阈值

延伸思考

可尝试用ONNX Runtime加速MFCC计算： 1. 将librosa的Mel计算转换为ONNX模型 2. 使用并行化处理批量音频 3. 实测在树莓派4B上可获得3倍速度提升

# ONNX推理示例（需提前导出模型）
sess = ort.InferenceSession("mel_onnx/model.onnx")
inputs = {"audio": audio.astype(np.float32)}
mels = sess.run(None, inputs)[0]

预处理环节虽然看似基础，但对ASR效果影响巨大。建议在实际项目中建立标准化的音频质量评估指标（如PESQ），持续优化预处理流水线。