音频大模型：

        通用全能语音大模型：

                开源：

                Qwen2.5-Omini

                Qwen3-Audio

                AudioFlamingo3（AF3）

                SAlomn-2

                Mini-Omini

                闭源：

                GPT-4o Audio Realtime(OpenAI)

                Gemini 3 Audio（Google）

                豆包Omini

                Qwen-Omini 商用版

        E2E对话大模型：

               开源：

                 Moshi

                GLM-4-Voice

                Covo-Audio

                VITA_Audio

                Step-Aduio

                Llama-Omini 2

                SemlessM4T v2

                闭源：

                星火

                混元

                MiniMax Speech-02

                豆包

        ASR：

                开源：

                Whisper (Open AI)：tiny/base/small/m/l/turbo

                FunAsr: Paraformer、SenseVoice、FireRedASR、Qwen3-ASR

                Wenet、Nemo Parakeet、Mega-AsR

                闭源：

                Deepgram

                AssemblyAI

                讯飞听见

                百度语音

                火山语音

        TTS：

                开源：

                Cosyvoice3

                F5-TTS

                VoxCPM2

                FIsh-speech

                GPT-Sovits

                Spark-TTS

                Kokoro-82M

                闭源：

                Eleven-Labs

                MiniMax speech-02

                StepAudio2.5

                讯飞TTS

                

        音乐：文生曲、歌声合成、编曲、乐器生成

                开源：

                AudioCraft MusicGen

                Stable Audio

                Fish Audio

                Riffusion

                商用：

                Suno AI

                Udio

                百度问心音乐

                通义万想音乐

        环境音频/声音时间检查（音频表征提前、分类、降噪、分离）：

                Wav2Vec2

                HuBERT

                WavLM

                CLAP

                Demucs

        主流音频大模型横向对比：

     

        

模型名称	类型	开源 / 闭源	核心覆盖能力	优势	适用场景
Qwen3-Audio / Qwen2.5-Omni	通用 Audio LLM	开源（Apache2.0）	语音 / 方言 / 音乐 / 环境声、ASR+TTS、全双工对话	中文最强、轻量可本地、免费商用、方言多	本地语音机器人、嵌入式、数字人、会议转写
Audio Flamingo 3	通用 Audio LLM	开源	人声 + 音效 + 音乐统一理解、长音频推理	纯音频原生训练、多语种音频问答	学术研究、多类型录音分析
GPT-4o Realtime Audio	通用 Audio LLM	闭源 API	全双工低延迟语音、音乐 / 杂音解析、70 + 语种翻译	实时交互流畅、跨语言天花板	海外跨境语音、实时同声传译
Gemini 3 Audio	通用 Audio LLM	闭源 API	音频 + 视频联动、多人对话、乐理分析	音视频一体化、长录音总结	短视频音频解析、多媒体内容审核
豆包 Omni 音频	通用 Audio LLM	闭源 API	中文方言、通话降噪、情感语音、长音频摘要	国内 C 端体验好、websocket 流式低延迟	国内 APP 语音助手、电话客服、录音复盘
Whisper Large-v3	ASR 专用	开源	100 + 语种语音转写、时间戳、翻译	生态最完善、跨平台 CPU/GPU 离线	视频字幕、跨境录音翻译、字幕制作
FireRedASR	ASR 专用	开源	中文高噪电话、会议、回声录音识别	嘈杂环境 WER 极低，工业流式	呼叫中心、线下会议录音转写
CosyVoice3	TTS 克隆专用	开源	3 秒零样本人声克隆、中英混读、多情绪	克隆相似度高、推理稳定	AI 配音、虚拟人、短视频旁白
VoxCPM2	TTS 高保真	开源	2B 大参数、真人有声书质感、丰富情感	朗读自然、适合长篇内容	有声小说、课程配音、广播剧
Step-Audio	Speech-LLM	开源	全双工语音对话、说唱合成、音色控制	中文口语流畅、延迟低	本地语音客服、陪伴机器人
Suno AI	音乐音频模型	闭源 API	文生完整歌曲、带歌词人声、多曲风	一键生成完整流行歌曲	短视频背景音乐、原创歌曲创作
SeamlessM4T v2	多语种语音大模型	开源	语音互译、ASR/TTS 一体、100 + 小语种	跨境小语种通话翻译	外贸实时语音翻译、多语言直播

----------------------------------------------

以下为纠错

一、名称纠错

你的原文	纠正	说明
AudioFlamingo3（AF3）	不存在	原始 Audio Flamingo 是 2023 年论文，无 v3。你可能想指 SALMONN 或 ELLSA（2026）
SAlomn-2	SALMONN（正确拼写）	无独立 v2，最新迭代是 ELLSA（字节/清华，2026.4，ICLR 2026）
Qwen3-Audio	不存在	Qwen3 系列无通用音频模型。最新通用音频 LLM 是 Qwen2.5-Omni；Qwen3-ASR 仅做识别
Covo-Audio	无法确认	找不到此模型，可能是笔误，疑为 CosyVoice 或其他模型混淆
VITA_Audio	VITA-1.5	无单独 "Audio" 版，正确名称 VITA-1.5（2024.12，NeurIPS 2025）
CosyVoice3	Fun-CosyVoice 3.0	2025.12 发布，0.5B，9语言+18种中文方言
Mega-ASR	无法确认	未找到此模型，可能不存在
Fish Audio（音乐类）	应移至 TTS	Fish-Speech 是 TTS 模型（4B，80+语言），不是音乐生成模型
Step-Aduio	Step-Audio	拼写修正；且已被 Step-Audio2（2025.8）取代

---

二、已过时/已归档模型

模型	状态
Riffusion	2022.12 归档，不再维护
Demucs	2025.1 归档，v4 为最终版本
VALL-E / VALL-E X	已归档，被新一代 Codec LM 取代
Tortoise-TTS	事实上已停更

---

三、信息修正

原文说法	修正
FireRedASR 属于 FunASR	错误。FireRedASR 是独立项目（FireRedTeam），不属于 FunASR
Qwen2.5-Omni 许可 Apache 2.0	正确 ✓
Fish-Speech 开源	非标准开源，使用 Fish Audio Research License（商用受限）
Whisper 最新版	最新为 large-v3-turbo（809M 参数，比 large-v3 快约 8 倍，但不支持翻译任务）
GPT-SoVITS	最新为 v2Pro（2025.6），性能超 v4 但硬件需求回到 v2 水平

---

四、应补充的重要模型

通用全能语音大模型（开源）

模型	时间	说明
MiniCPM-o 4.5	2026.2	OpenBMB，9B，全双工多模态，接近 Gemini 2.5 Flash
ELLSA	2026.4	字节/清华，端到端流式全双工，统一视觉/语音/文本/动作
Baichuan-Omni-1.5	2025	百川，7B 端到端全模态

E2E 对话大模型（开源）

模型	时间	说明
Step-Audio2 / 2-mini	2025.8	Step-Audio 的升级版，增加 R1 推理能力
Freeze-Omni	2025	冻结 Qwen2-7B 主干，ICML 2025，支持打断
Nemotron VoiceChat	2025-26	NVIDIA，全双工可打断

ASR

模型	时间	说明
Qwen3-ASR	2026.5	0.6B/1.7B，52 语种自动检测（通过 FunASR 发布）
GLM-ASR-Nano	2025-26	1.5B，17 语种，集成于 FunASR
Seed-ASR	2025	字节跳动，多语种
Parakeet V3	2025.8	NVIDIA，25 种欧洲语言
Nemotron-3.5-ASR-Streaming	2025-26	NVIDIA，40 语种，80ms-1s 可控延迟

TTS

模型	时间	说明
ChatTTS	活跃（v0.2.5）	对话优化，细粒度韵律控制（笑声/停顿等），39k stars
Dia / Dia2（Nari Labs）	2025-26	1.6B，多人对话生成，非语言音（笑/叹气），Apache-2.0
Sesame CSM	2025	1B，上下文感知多说话人，Apache-2.0
MaskGCT	2025	ICLR 2025，全非自回归零样本 TTS，MIT
Parler-TTS	2024	自然语言描述控制音色（性别/音高/风格），Apache-2.0
OuteTTS 1.0	2025.5	1B/0.6B，多语种克隆，Apache-2.0
EmotiVoice	活跃	网易，2000+音色，情感可控，Apache-2.0

音乐

模型	时间	说明
Suno v5.5	2026.3	最新版本（非 v4）
Udio Playground	2025.10	与 UMG 和解后仅用授权音乐训练
JASCO（Meta AudioCraft）	2025	支持和弦/旋律/鼓点条件生成
AudioLDM2	活跃	文本到音频/音乐，潜在扩散，48kHz

音频表征

模型	说明
BEATs	微软，AudioSet 分类 SOTA
AudioMAE	Meta，音频谱图掩码自编码器
Mimi	Kyutai（Moshi 项目），12.5Hz 流式编码，1.1kbps
EnCodec	Meta AudioCraft，广泛用于 Codec LM
DualCodec	2025.5，低帧率语义增强编解码
emotion2vec	FunASR 内，语音情感识别

---

五、横向对比表修正建议

原表问题	修正
Qwen3-Audio / Apache 2.0	应改为 Qwen2.5-Omni / Apache 2.0
Audio Flamingo 3 行	应替换为 SALMONN / ELLSA
Suno AI 描述	应更新为 v5.5（2026.3）
SeamlessM4T v2 许可	CC-BY-NC 4.0（非完全开源商用）
CosyVoice3 描述	应写为 Fun-CosyVoice 3.0，补充 150ms 流式延迟