李沐联合创立 Boson AI 发布全双工多模态模型，整合视觉支持实时表情生成；腾讯 AI 游戏陪伴《鹅次元》，实时语音陪玩共享 QQ 聊天丨日报

声网

25人浏览 · 2026-11-06 22:38:58

声网 · 2026-11-06 22:38:58 发布

在这里插入图片描述

本期编辑：@三水 @鲍勃

01 有话题的技术

1、Meta 向美国用户开放 Muse Voice：实时语音与表情 Avatar 同步生成，支持打断及视频对话

Meta 宣布向美国用户开放 Muse Voice，让用户通过实时语音或视频与个人 AI Agent Muse 对话。该能力此前已在 Connect 2026 大会上预览，由 Muse Realtime Voice 和 Muse Realtime Avatar 两个模型组成统一流式系统，在生成语音的同时驱动虚拟形象的口型、表情与身体动作，现已在移动端、网页端和 Mac 版 Muse 中推出。

实时语音对话结合动态 Avatar： 用户可选择纯语音、语音搭配 Avatar 或全屏视频对话，支持实时打断和自然轮次切换。默认角色 Jolly 可自定义为人物、动物或虚构角色，并提供数百种声音风格。
语音与视频共享同一条生成流： Muse Realtime Voice 输出包含语音内容和表达方式的离散语音 token，音频解码器将其转换为声音，Muse Realtime Avatar 同时利用这些 token 生成对应的口型、表情和动作，以保持声画同步。
实时视频生成延迟约 870ms： Meta 此前披露的技术测试显示，系统可生成 448×768、25fps 的竖屏视频，从用户结束发言到收到首个同步音视频响应字节约需 870ms。Avatar 模型通过蒸馏将每段视频的模型计算次数从 120 次降至 2 次。
未来将接入 AI 眼镜等硬件： Muse Voice 目前首先面向美国用户推出，Meta 计划后续将语音对话扩展到 AI Glasses 和 Muse Charm。

( @Techcrunch)

2、视频生成团队 Wuli-Art 开源 MiniMax-H3-Turbo 加速模型：4 步完成音视频联合生成，支持 ComfyUI 接入

开源团队 Wuli-Art 发布针对 MiniMax H3 的音视频联合生成加速模型 MiniMax-H3-Turbo，通过蒸馏与模型适配，将文本生成音视频及首尾帧视频生成所需的去噪步数降至 4 步，并提供 6 步、8 步版本。项目开放模型权重、推理代码和 ComfyUI 工作流，可在生成视频的同时保留对话、音乐及环境音等声音内容。

4 步完成音视频联合生成： 提供基于原版 MiniMax H3 的 4 步 LoRA 适配器，以及 6 步、8 步完整 Transformer 权重。4 步版本融合视频与音频输出投影，减少推理过程中的扩散采样次数。
覆盖多种视频生成任务： 支持 Text-to-Video with Audio（T2VA）和首帧、首尾帧条件生成（FL2VA）。项目还新增 8 步参考生成版本 Ref2VA，可结合参考图片、视频及可选音频生成新内容。
开放 ComfyUI 工作流与对比演示： 开发者可通过自定义节点选择不同去噪步数，直接输出包含 H.264 视频和 AAC 音频的 MP4 文件。团队同步提供覆盖 9 组提示词、11 种配置、99 段视频的交互对比演示，可与原版 MiniMax H3 及其他加速方案比较生成效果。

https://github.com/wuli-art/MiniMax-H3-Turbo-ComfyUI

3、李沐联合创立的 Boson AI 发布全双工多模态模型 Higgs Realtime Duplex：支持边听、边看、边说及实时表情生成

由李沐与 Alex Smola 联合创立的 AI 公司 Boson AI 发布 Higgs Realtime Duplex 研究预览版，这是该公司首款全双工实时多模态交互模型。相比此前主要面向实时语音对话的 Higgs Realtime，新模型进一步整合视觉感知、语音生成、Avatar 表情及异步推理能力，能够在持续听取用户讲话、观察摄像头或共享屏幕的同时进行语音回应，并在后台处理复杂任务。

160ms 分块实现全双工多模态交互： 模型以 160ms 为单位处理连续输入输出流，支持边听边说、主动附和、识别用户打断，并根据语音和视觉上下文判断回应时机。视频输入可持续参与交互，模型同时生成与语音同步的 Avatar 表情。
45B MoE 架构支持异步推理与工具调用： 模型能够在用户尚未结束发言时启动后台推理和工具调用，处理搜索、信息查询等任务；遇到复杂问题时，可将上下文交给更大的后端模型，同时保持前台实时对话。
统一生成语音与 Avatar 表情： 通过音频与视频解码器分别生成声音及角色画面，支持使用短音频和单张参考图片指定角色声音与形象，无需针对新角色微调模型。
公布实时交互评测结果： 据 Boson AI 官方测试，模型在 Big Bench Audio 上取得 98.9 分，Full-Duplex-Bench v1.5 平均得分为 75.5，τ-Voice 任务完成率为 69.8%。目前仍处于研究预览阶段，专属 API 尚未正式开放。

https://www.boson.ai/blog/higgs-realtime-duplex

02 有亮点的产品

1、Salesforce 拟以 27 亿美元收购语音 AI 公司 Cresta：整合 Voice Agent、坐席实时辅助与会话智能

11 月 2 日，企业软件公司 Salesforce 宣布签署收购语音 AI 公司 Cresta 的最终协议。据 The Information 报道，交易金额约为 27 亿美元，但 Salesforce 尚未正式披露价格。收购完成后，Cresta 的 Voice Agent、坐席实时辅助及会话分析能力将与 Salesforce Service Cloud 和 Agentforce 结合，让企业能够在同一客户服务平台中连接实时通话、客户历史信息和后续业务操作。

整合端到端 Voice Agent： Cresta 的语音智能体能够处理复杂客户来电，支持实时自然对话、用户打断及业务流程执行，现有客户包括 Marriott、Comcast 和 Alaska Airlines。
加入坐席实时辅助与会话智能： Cresta 平台可在人工客服通话过程中提供实时指导，分析客户互动，并利用通话数据评估和优化 AI Agent 与人工坐席的表现。
连接 Salesforce 客户数据与业务系统： 收购后，Salesforce 计划将实时通话理解与 CRM 客户记录、Service Cloud 工作流结合，使客服 Agent 能够依据客户上下文完成问题处理。Cresta 仍将支持现有的第三方联络中心与电话平台。
交易尚待监管审批： Salesforce 预计交易于其 2028 财年第一季度完成，仍需满足惯常交割条件及监管审批。

( @Salesforce)

2、语音 Agent 开发平台 Guava 完成 1250 万美元种子轮融资：自研 STT、LLM、TTS 全栈，支持代码定义业务逻辑

语音 Agent 开发平台 Guava 宣布完成 1250 万美元种子轮融资，由 Acrew Capital 领投，Flourish Ventures、WillowTree Ventures、Clocktower Ventures 和 Commerce Ventures 参投。Guava 基于语音 AI 实验室 Gridspace 十余年的研究积累，采用自研语音识别、语言模型及语音合成的完整技术栈，并通过 SDK 让开发者使用代码定义 Agent 的业务流程，面向企业客服、预约及受监管行业提供语音自动化服务。

自研 STT、LLM 与 TTS 完整链路： Guava 自行训练和部署语音识别、语言理解及语音合成模型，统一优化语音交互体验。团队此前已发布 Daytona 语音模型，并称其在 Coval 语音识别评测中进入前十。
业务逻辑通过代码控制： 提供 Python、TypeScript SDK 及 Claude Code 接入方式，开发者可通过代码配置业务规则、连接知识库与外部系统，减少对 Prompt 控制业务流程的依赖。
已处理每日数万通企业电话： 据公司披露，Daytona 已服务十余家企业客户，支持每天数万通通话。平台底层技术来自 Gridspace，相关模型研究使用了超过 100 亿分钟的真实联络中心对话数据。
融资将用于模型研发与部署扩展： 新资金计划投入模型开发、企业市场拓展，以及边缘设备、本地化部署和全双工语音交互等后续技术方向。Guava 已提供开发者免费接入选项。

https://goguava.ai/

3、AI 可穿戴初创公司 Subvocal 完成 130 万美元预种子轮融资：用雷达识别无声发音，宣称每分钟输入超 200 个单词

美国 AI 可穿戴初创公司 The Subvocal Company 宣布获得 130 万美元预种子轮融资，投资方包括 Y Combinator 和 Afore Capital，并开放无声语音输入眼镜 Subvocal 的预订。设备利用射频（RF）传感技术检测用户无声发音时的面部肌肉微动，再由 AI 模型将信号转换成文字，无需麦克风拾音或摄像头识别口型。

通过射频感知实现无声语音输入： 眼镜发射低功率无线电波，捕捉用户主动做出发音动作时的细微肌肉变化，并将传感信号解码为文本，可用于输入消息、编写提示词和向 AI Agent 下达指令。
原型机宣称达到每分钟 200 词以上： 团队表示，现有原型已实现超过 200 WPM 的连续无声语音输入，但尚未公布完整错误率、跨用户测试或第三方验证结果。当前仍在收集训练数据，改进不同用户之间的泛化能力。
智能眼镜已开放预订： 早鸟价为 499 美元，预订定金为 199 美元，预计 2027 年第一季度开始发货。目前产品仍处于开发阶段，尚未正式交付。

https://www.ycombinator.com/companies/the-subvocal-company

4、腾讯开启 AI 游戏陪伴应用《鹅次元》首测：屏幕共享理解游戏画面，支持实时语音陪玩与 QQ 记忆互通

腾讯推出 PC 端 AI 游戏陪伴应用《鹅次元》，于 10 月 21 日发布官方宣传视频并开启「元气首测」。产品通过屏幕共享获取游戏画面，结合实时双向语音对话，让 AI 角色能够围绕玩家当前的游戏局势、操作及任务提供回应。首测开放四位不同人设的虚拟角色，并支持在手机 QQ 中继续交流。

屏幕共享结合实时语音陪玩： AI 角色可以读取玩家共享的游戏画面，通过语音讨论对局局势、装备选择、打法策略及任务攻略。目前已支持《英雄联盟》《无畏契约》《CS2》等游戏，并逐步扩展其他作品。
四位 AI 角色提供个性化互动： 首测提供谷雨、沈露白、夏夏、贝拉四位角色，各自具有不同的声音、性格和游戏偏好。除游戏陪玩外，还支持日常聊天、桌面宠物、角色装扮及壁纸功能。
PC 与手机 QQ 共享聊天记忆： 用户可以将 AI 角色添加为 QQ 好友，在离开电脑后继续通过手机聊天，两端共享对话记忆。「元气首测」期间，语音、陪玩、聊天和生图等功能限时免费，产品界面已预留星币与能量体系。

https://eciyuan.qq.com/

03 有态度的观点

1、Claude Code 前产品负责人加入 OpenAI，掌管核心产品

曾负责 Claude Code 和 Cowork 产品的 Cat Wu 于 11 月 5 日宣布加入 OpenAI，负责核心产品的产品管理。她点名将与 OpenAI 的 Thibault Sottiaux 合作，开发面向个人和团队、由用户保有控制权的智能体。同日上午，曾参与搭建 Anthropic 增长团队的 Austin Lau 也宣布自己近期已加入 OpenAI。

( @APPSO)

在这里插入图片描述