最近在给自己的 agent 工作流找音频方向的参考,想看看不靠神经网络的语音项目怎么做评测,这个仓库给了完整答案。

本周 Top5:security-audit-skill(+10,967)、skills(+9,872)、auto-ontology(+9,621)、agent-desktop(+9,502)、OpenMausBot(+8,951)。

落选备注,本期主角 chimera-vocal-synth 不在周榜前五(周榜被 agent 基建老仓包场),按 is_new 存活组第一入选;上期主角 DIYgod/pinky 一天从 1,492⭐ 涨到 1,732⭐。

jamesondh/chimera-vocal-synth 建仓于 11 月 5 日,六天拿到 1,738⭐、202 fork,MIT 协议,核心引擎用 Rust 写,编译到 WebAssembly 跑在 AudioWorklet 里,Hacker News 讨论拿到 353 分。它是一个物理建模语音合成器,肺、声带、喉、舌、唇、鼻腔全是仿真结构,每个音都从模拟气道的数值推进里长出来,不采样音频,也不跑神经网络。这篇文章说两件事,一副浏览器里的假嗓子怎么搭,以及它怎么把「像不像真人」变成可以回归测试的判卷系统。

它是什么

hero-sing.jpg

官网演示页截取,歌词写着 I am made of air

打开官网是一个头部剖面图,舌头、下颌、嘴唇可以直接拖拽,拖到哪儿发音就变,这是 Play 模式。Speak 接受英文文本(CMUdict 词典加规则兜底)或 IPA,转成手势谱朗读。Sing 是钢琴卷帘,每个音符挂一个音节,辅音安排在拍点前落地。Beatbox 把每件鼓定义成一个发音动作,配步进音序器。Bestiary 换一副解剖结构出动物声,鸣禽、威德尔海豹、美洲短吻鳄、非洲象,鸣禽有两条独立声唇,真能同时唱两个声部。男、女、童三种身体是两根连续轴上的混合,几何与音素目标按权重连续过渡。屏幕上的气压、气流、声带、频谱、共振峰全部来自引擎实时状态,屏幕里的每个动画都有对应的真实数据。

play-head.jpg

官网演示页截取,声带视图标注 slowed 100x

作者在架构文档开头贴了业主的需求原文,要终极的人声合成器,喉舌建模要老练,动物要分人、鸟、爬行类,要有打击乐,视觉要漂亮。同一节也列了未建清单,双质量声带模型、IPA 图模式、应用内 EQ 混响链、应用内 WAV 导出,欠账写在明面上。

为什么有意思

气道是一张带分支的网格

合成的核心是把气道建成一张交错网格传输线。放弃更常见的 Kelly-Lochbaum 结构而选 FDTD,理由在文档里有对照,变截面(喉位升降、唇前伸、体型差异)、闭合点后的气压积累、约束处的非线性损耗、屈服管壁、任意分支(鼻腔、鼻窦、梨状窝、两根支气管)能放进同一个框架。内部推进速率成人 96kHz,小型鸣禽 192kHz,再经多相半带抽取降到输出率。旁边还有一条频域链式矩阵模型做交叉验证,给 FDTD 当测试预言机。爆破音、挤喉音、搭嘴音没有特例代码,负肺压吸气、喉位升降、舌背下压全走同一套物理。

声音一变,测试全红

测试目录里躺着成组的 .f32 黄金音频。AGENTS.md 写明,任何改动只要动了声音就故意让测试失败,真要改音色走 CHIMERA_BLESS 重新背书流程,而且连跑两遍。文档还有一条容易被忽略的边界,蓝牙耳机把页面拉到 16kHz 采样率时,气道仿真算不过来会变 NaN,表现是无声且不报错。这条边界在 issue #33 真实爆发过,多名用户反馈开场半分钟后没声,根因是输出设备跑在 192kHz,仿真成本是三倍(修复在 #61)。作者让自己的 coding agent 以授权代发的方式回复 issue,回复末尾带披露行,提交记录里能查到 jamesondh-agents[bot] 的五个 commit。

判卷系统对齐真人

主观的音质被拆成几套对照。CSD 儿童歌曲数据集的职业女歌手管唱歌,五十首英语儿歌逐音符量音分、颤音率、气声指标。TSP 语料库的二十三个真人管说话,合成声念同样的哈佛句子,逐音素对齐了比。Whisper 的词错率管可懂度,文档给出的数字很坦白,真人错 2.7%,合成声错 37%。调音走 hill-climb 协议,一个 agent 一次做一个实验,判卷变好才保留,合入前必须作者亲耳确认。第二批实验里 sheet 被听成 feet,sharp 的 p 因闭点空气被挤压到肺压 11 倍而爆音,超出全句最响元音 7dB,两处分别由实验 16 与实验 18 修复。TSP 综合分从 1.994 收敛到 1.583,越低越好,真人自己的分是 0.277。有一轮 Whisper 判卷报了 4 分提升,作者盲听却大半样本分不出新旧,随后拒绝放宽判卷标准,转头搭了基于真人语料的评分器。

bestiary.jpg

官网演示页截取,四件标本共用同一引擎

边界与局限

语言是第一道坎。英文是唯一上线的前端,韩语(#29)与中文(#34)的歌声前端各自以 PR 排队,两案独立收敛到同一设计,也踩了同一个坑,送气规则沿用英语那套,普通话 b、d、g、z、zh、j 一律按浊音近似(#40 有完整讨论)。

成熟度是第二道坎。英文合成离可用还有距离,Whisper 词错率 37%,文档自述擦音与爆破的真实度押在噪声源标定上,元音质量押在几何标定上。仓库没有 release,170 个 commit 全在 main 上,想引用建议先锁 commit。性能上 TS 引擎时代单核占用 30-45%,Rust 重写落地后好转,我在无 GPU 的无头浏览器里截图时负载表仍在 121% 到 143% 之间。issue 区还开着 #39 闭唇掉音高、#50 极限位姿发出 4 到 10kHz 尖叫。插件化刚开 PR(#62,CLAP/VST3/AU,macOS 先行)。

对谁有价值

音频与语音 DSP 工程师值得现在深读,FDTD 管网、黄金音频回归、真人语料判卷三件套在这个仓库里齐备,别的仓库很难凑齐。做 agent 工作流的人可以抄它的流程,一次一个实验、判卷定去留、人类耳朵终审,这套 hill-climb 协议本身就是一套可以直接搬走的实验纪律。音乐人建议等 PR #62 合并再上桌,中文用户等 #34,想直接拿它出成品配音的现阶段收益有限。

仓库 https://github.com/jamesondh/chimera-vocal-synth

我的用法分两层。网页今天就能打开玩,工程上先借它的黄金测试与判卷守卫,等中文前端和插件落地再谈正式采用。

数据截至 2026-11-11,来源 GitHub API、HN 讨论与 docs/ 目录原文

Logo

更多推荐