告别混乱会议纪要：用pyannote-audio 3.1.1自动分离多人对话（附完整Python代码）

每次会议结束后，整理录音文件就像在玩"猜猜谁在说话"的游戏。特别是当讨论激烈时，不同声音交织在一起，手动标记每个发言片段不仅耗时，还容易出错。想象一下，如果能自动将会议录音按发言人切割成独立片段，并生成带时间戳的文本记录，工作效率会提升多少？

这正是pyannote-audio 3.1.1的用武之地。这个基于PyTorch的声纹处理工具包，通过先进的深度学习模型，可以自动识别和分离音频中的不同说话人。不同于简单的语音转文字工具，它能理解声音的独特特征，就像给每个声音贴上专属ID标签。

1. 环境准备与模型获取

1.1 安装基础环境

首先需要准备Python 3.8或更高版本的环境。推荐使用conda创建独立环境：

conda create -n audio_processing python=3.9
conda activate audio_processing

安装pyannote-audio 3.1.1及其依赖：

pip install pyannote.audio==3.1.1 torchaudio librosa -i https://pypi.tuna.tsinghua.edu.cn/simple

1.2 获取预训练模型

pyannote-audio依赖两个核心模型：

1. 声纹嵌入模型 ：将声音特征转换为向量
2. 分割模型 ：识别音频中的语音活动

获取这些模型需要Hugging Face账户和访问令牌：

from huggingface_hub import snapshot_download

# 替换your_token为实际Hugging Face token
snapshot_download(repo_id="pyannote/wespeaker-voxceleb-resnet34-LM",
                  local_dir="./models/embedding",
                  token="your_token")

snapshot_download(repo_id="pyannote/segmentation-3.0",
                  local_dir="./models/segmentation",
                  token="your_token")

注意：模型下载可能需要较长时间，建议在稳定网络环境下进行

2. 构建音频处理流水线

2.1 初始化核心组件

from pyannote.audio import Model, Pipeline
from pyannote.audio.pipelines import SpeakerDiarization

# 加载模型
embedding = Model.from_pretrained("./models/embedding/pytorch_model.bin")
segmentation = Model.from_pretrained("./models/segmentation/pytorch_model.bin")

# 创建说话人分离管道
pipeline = SpeakerDiarization(
    segmentation=segmentation,
    embedding=embedding,
    clustering="AgglomerativeClustering"
)

2.2 优化参数配置

针对会议录音场景，推荐以下参数设置：

optimal_params = {
    "clustering": {
        "method": "centroid",
        "min_cluster_size": 10,  # 适应小型会议(2-5人)
        "threshold": 0.7
    },
    "segmentation": {
        "min_duration_off": 0.5  # 过滤短于0.5秒的静音片段
    }
}

pipeline.instantiate(optimal_params)

参数调整建议：

参数	适用场景	推荐值范围
min_cluster_size	说话人数量	人数×2
threshold	口音差异大时	0.6-0.75
min_duration_off	语速快慢	0.3-1.0秒

3. 处理实际会议录音

3.1 基础分离实现

from pyannote.core import Annotation
import time

def process_meeting_audio(audio_path):
    start_time = time.time()
    
    # 执行说话人分离
    diarization: Annotation = pipeline(audio_path)
    
    # 提取结果
    speakers = diarization.labels()
    segments = list(diarization.itertracks(yield_label=True))
    
    print(f"识别到{len(speakers)}位说话人")
    print(f"处理耗时: {time.time()-start_time:.2f}秒")
    
    return segments

3.2 处理长音频的策略

对于超过30分钟的会议录音，建议分块处理：

from pyannote.audio import Audio
import numpy as np

def chunk_processing(audio_path, chunk_size=600):
    audio = Audio()
    waveform, sample_rate = audio(audio_path)
    duration = len(waveform[0])/sample_rate
    
    results = []
    for start in np.arange(0, duration, chunk_size):
        end = min(start + chunk_size, duration)
        chunk = audio.crop(audio_path, start=start, end=end)
        results.extend(process_meeting_audio(chunk))
    
    return merge_results(results)  # 自定义结果合并函数

提示：分块大小建议10-15分钟，太短会影响说话人聚类效果

4. 结果输出与应用

4.1 生成结构化会议记录

def generate_meeting_minutes(segments, output_txt="minutes.txt"):
    with open(output_txt, "w") as f:
        for segment, _, speaker in segments:
            start = segment.start
            end = segment.end
            f.write(f"[{start:.1f}-{end:.1f}] {speaker}:\n")
    
    print(f"会议纪要已保存至{output_txt}")

示例输出格式：

[0.0-12.5] SPEAKER_00:
[12.5-24.8] SPEAKER_01:
[24.8-37.2] SPEAKER_00:

4.2 分割音频文件

使用pydub保存独立音频片段：

from pydub import AudioSegment

def export_individual_segments(audio_path, segments):
    original = AudioSegment.from_wav(audio_path)
    
    for idx, (segment, _, speaker) in enumerate(segments):
        start_ms = segment.start * 1000
        end_ms = segment.end * 1000
        segment_audio = original[start_ms:end_ms]
        segment_audio.export(f"{speaker}_segment_{idx}.wav", format="wav")

5. 性能优化与问题排查

5.1 加速处理技巧

1. 启用GPU加速 ：

import torch
pipeline.to(torch.device("cuda"))

2. 调整批处理大小 ：

pipeline.embedding_batch_size = 64
pipeline.segmentation_batch_size = 64

5.2 常见问题解决方案

问题1：说话人混淆

• 现象：同一人被识别为多个说话人
• 解决方法：降低聚类阈值(threshold)至0.6左右

问题2：背景噪音干扰

• 现象：静音部分被识别为说话人
• 解决方法：增加min_duration_off至0.8以上

问题3：处理速度慢

• 检查项：
  • 是否使用GPU
  • 音频采样率是否过高(建议16kHz)
  • 可尝试轻量级模型版本

在实际项目中，我发现对于中文会议录音，将min_cluster_size设置为参会人数的1.5倍效果最佳。例如5人会议使用7-8的值，能有效避免因语气变化导致的说话人分裂。