本文深入探讨了多模态思维链（CoT）的原理与应用，从视觉、音频、语音等多个维度解析了模型如何承载和更新中间思考状态。文章详细介绍了四层框架，包括主动感知、模态原生、隐空间推理等方法，并分析了当前局限与开放问题。对于想要学习大模型推理的程序员来说，本文提供了宝贵的参考和收藏价值。

1、多模态 CoT 的四层框架

文本 CoT 的中间步骤天然可被语言模型读取并继续生成，因此“思考载体”常被忽略。多模态模型则不同：图像和音频通常先经过编码器压缩，再投影到语言模型的嵌入空间。如果关键细节在编码阶段已经消失，后续再长的文本推理也无法重新获取这些原始证据。

2、视觉：从主动感知到视觉与动作推演

1. 固定视觉编码限制了文本 CoT 的上限

LLaVA-CoT [1] 代表最直接的路线：把视觉问答拆成问题摘要、相关视觉描述、逻辑推理和结论四个阶段，并提出测试时阶段式回溯搜索（Stage-Wise Retracing Search，SWIRES）扩展推理时计算。使用约 10 万条结构化训练样本并结合测试时扩展后，LLaVA-CoT 在一系列多模态推理基准上的得分，相较基础模型平均提升 9.4%。

这一结果说明，视觉语言模型（Vision-Language Model，VLM）的确会受益于更有组织的推理过程。但它仍面对一个硬限制：模型后续推理只能基于视觉编码器保留下来的表示。如果远处招牌文字、表格小数点或图中细线在编码后被抹平，文本 CoT 仍可以借助先验进行推断，但已丢失的原始视觉证据无法被重新获取。

2. 主动感知：让模型再看一眼

Visual CoT [2] 把人类的主动注视机制工程化：模型先预测关键区域的边界框（bounding box），系统从原始高分辨率图像中裁剪该区域，再把原图、局部图和问题共同送入第二轮回答。其 43.8 万条数据中，约 9.8 万条还带有详细推理步骤。

这套方法的价值还体现在可解释性上。预测框把“模型看错了地方”和“模型看对了但推理错了”分离开，提供了一个少见的可解释接口。对文档、图表、GUI 和高分辨率街景这类信息密度极不均匀的图像，主动聚焦往往比增加文本 CoT 更有效。

图1 Visual CoT 的主动视觉聚焦流程

Visual Sketchpad [3] 进一步把“看”扩展成“画”。模型按照思考—动作—观察（Thought–Action–Observation）循环，调用程序画线、标点、标框，或借助目标检测和分割模型生成辅助视觉标记。它采用确定性的绘图原语，绕开不可控的图像生成过程，因此特别适合几何、空间和图论任务。论文报告的平均准确率增益为：数学任务 12.7 个百分点，视觉任务 8.6 个百分点。

图2 Visual Sketchpad 的“思考—动作—观察”视觉草图流程

视觉中间层的本质

文本负责决定“下一步应该看哪里、画什么、调用什么工具”；新的视觉证据再回到模型中。该机制通过动态改变模型可访问的视觉证据来扩展推理过程，并减少对单次图像编码的依赖。

3. 模态原生：生成未来图像与动作意图

CoT-VLA [4] 把视觉 CoT 带入机器人控制。传统视觉—语言—动作（Vision-Language-Action，VLA）模型从“当前观察 + 指令”直接映射到动作；CoT-VLA 则先自回归生成一张短期未来的子目标图像，再预测实现该画面的动作序列。子目标帧作为一种中间状态直接输入策略模型，主要承担规划功能，并同时服务后续动作预测。

这一设计还让没有动作标注的普通操作视频能够参与预训练：视频可以教模型“下一刻应该出现什么”，机器人示范再教它“怎样让场景变成那样”。因此，视觉推理第一次与可执行控制形成了可验证闭环。

图3 CoT-VLA 通过未来子目标图像连接视觉推理与动作预测

ACoT-VLA [5] 则继续把推理重心下沉到动作空间。它显式生成“接近—下降—夹取—抬起”一类粗粒度动作意图，同时从隐藏状态提取隐式动作先验，再共同约束最终动作头。这项设计让中间状态直接携带运动学信息，把 CoT 从文本表达推进到动作层面的规划。

4. 隐空间视觉推理

Latent Visual Reasoning（LVR）[6] 尝试直接在视觉嵌入空间中自回归生成隐状态，并让这些状态重建与问题相关的关键视觉 token。文本生成与视觉隐空间状态可以交错出现，强化学习进一步学习两种推理方式的切换策略。

隐空间视觉推理的首要困难是监督。显式 CoT 至少可以把人工或教师生成的文本作为目标，而连续状态不存在天然的“正确思考 token”。LVR 因而借助查询相关视觉 token 的重建、伪轨迹监督和强化学习约束中间状态；同类方法也常用自蒸馏生成并筛选替代目标。这些步骤会引入教师采样、轨迹过滤和额外后训练，因此较低的推理 token 开销仍可能伴随较高的总训练成本。近期机制分析进一步提示，在部分隐空间视觉推理设置中，性能增益可能来自其他机制；仅凭最终准确率不足以证明这些状态真正承担了可解释的视觉推理功能 [18]。

3、通用音频：推理必须基于正确证据

环境声、音乐和混合音频比图像更容易暴露固定编码的缺陷。音频编码器往往以较低帧率把波形压缩为连续特征；频谱细节、瞬态、混响结构、能量变化和多个声源之间的关系都可能被弱化。模型随后写出的 CoT 看似合理，实际依据可能主要来自转录文本或高层语义，声学细节对推理的直接贡献仍然有限。

1. 结构化与按需思考

Audio-Reasoner [7] 用 120 万条结构化音频推理样本训练模型依次完成规划、音频描述、推理和总结。其价值在于证明：对音频模型而言，单靠提示词要求“逐步思考”通常不够，模型需要在训练中见过高质量、结构化的推理轨迹。

Audio Flamingo 3 [8] 则强调“按需思考”。简单识别任务不必生成长推理链，复杂音频问题才触发思考前缀（thought prefix）。它同时统一处理语音、环境声和音乐，并支持最长约 10 分钟的音频输入。工程上，这比默认开启冗长 CoT 更符合音频应用的延迟需求。

2. 工具调用：重访原始波形

Thinking with Sound（TwS） [9] 是音频领域最典型的中间版本。模型在文本推理过程中可以调用降噪、源分离、响度归一化、频谱分析和时间对齐等工具；处理后的波形和分析结果重新编码，作为下一轮证据。

在 MELD-Hard1k 中，研究者通过噪声、混响、音高偏移和速度扰动等方式构造更困难的声学条件，主流音频语言模型的准确率相较干净音频可能下降 50% 以上。TwS 的工具链无需重新训练基础模型，却能为不同规模模型带来约 24.73 至 36.61 个百分点的绝对提升。这里最关键的结论是：当问题源于感知证据受损时，重新处理声音往往比继续增加语言推理长度更有效。

图4 Thinking with Sound（TwS）的音频工具调用与证据回访流程

3. 模态原生：用音频草稿推理

UALM-Reason [10] 把音频理解、文本到音频生成和文本推理放进同一个自回归框架，并让文本与音频都能出现在中间推理过程中。它首先把用户意图扩展成结构化的 rich caption 作为生成蓝图；在自反思流程中，模型生成音频后再“听”自己的输出，重新描述实际结果，并用文本比较计划与结果的差异，最后据此生成改进版本。因此，这里的跨模态推理形成了“生成—理解—批评—修订”的闭环，音频会作为中间结果再次进入后续理解与修订。

从本文的四层框架看，这属于较强的模态原生推理：音频既是生成对象，也会被重新作为证据进入后续推理。代价同样明显——音频 token 的密度远高于文本，较长的中间音频会迅速增加上下文和计算开销，因此模型需要专门的并行预测、训练配方和推理策略来控制成本。

4. 接地、自蒸馏与跨模态对齐

2025—2026 年音频推理的一个明显变化，是研究者开始正面处理“文本替代推理”问题。Step-Audio-R1 [11] 通过模态接地推理蒸馏（Modality-Grounded Reasoning Distillation，MGRD）筛选真正引用音高、节奏、音色、能量和时序证据的推理链，再结合监督微调和强化学习，使更长的测试时推理建立在声学证据上，并减少仅生成表面合理文字解释的情况。

Audio-Cogito [12] 用同一模型生成并学习 54.5 万条显式音频 CoT，重点是降低外部教师与学生之间的推理风格错配；CORD [13] 则把模型在文本条件下的推理作为内部教师，通过 token 级反向 Kullback–Leibler（KL）散度和序列级奖励，把音频条件下的推理拉近到文本条件下的能力水平。这里的自蒸馏仍作用于可读的文本轨迹；到了真正的隐空间 CoT，自蒸馏还可能承担构造不可观测中间目标的职责，因而更依赖大规模采样、筛选与多阶段训练。

这三类方法都非常重要。严格来看，它们主要解决“如何训练出更接地、更一致的推理”。Audio-Cogito 的中间步骤仍是显式文本，CORD 也是跨模态蒸馏框架，因此直接将它们归入“隐空间 CoT”会混淆技术问题。

音频路线的核心矛盾

音频模型需要同时保留语言模型的抽象推理能力和足够完整的声学证据。当前较有效的方向，是在文本推理之外保留可回访可操作的声音表征。

4、语音：在实时对话中推理

语音与通用音频共享声学建模问题，但又有两个特殊条件。第一，语音拥有一条高信息密度的符号桥梁——转录文本，尽管其中仍会丢失韵律、情绪等非词汇信息；第二，实时对话对额外等待高度敏感。因此，语音 CoT 的核心约束，是尽可能让推理与听、说并行，把原本发生在用户说完之后的文本思考前移到输入过程中。

1. 交错建模只是基础

SpiRit-LM [14] 证明文本 token 与语音 token 可以在同一序列中细粒度交错，表达性版本还加入音高与风格 token，以保留情感和韵律。它为“边说边想”提供了统一词表和序列建模基础，但这种交错生成能力本身尚不足以证明这些语音 token 已经承担推理步骤。

VITA-Audio [15] 同样更准确地说是一项实时生成基础设施。其多跨模态 token 预测（Multiple Cross-modal Token Prediction，MCTP）模块可在一次前向传播中预测多个音频 token，把首段语音生成提前到第一次前向，并获得约 3—5 倍的推理加速。它解决了 CoT 系统“想完以后来不及说”的工程瓶颈，角色更接近实时生成基础设施。

2. 从说前思考到听时思考

Can Speech LLMs Think while Listening? [16] 把显式文本 CoT 移到用户说话期间。系统通过“问题完整度”判断当前信息是否已经足以开始推理，让流式自动语音识别（Automatic Speech Recognition，ASR）与 CoT 并行进行；再用偏好优化压缩推理长度。论文报告，在一组口语推理任务上，文本空间推理使准确率平均达到基础设置的 2.4 倍；进一步的听时思考与偏好优化，在不损失准确率的情况下将推理延迟降低约 70%。

这条路线仍会把未完成输入转换成显式文字推理，因此存在提前承诺和错误猜测的风险。用户后半句可能推翻前半句，模型此前写出的推理链却已经形成。

3. FLAIR：听话时的隐空间推理

FLAIR（The Silent Thought）[17] 把“听时思考”推进到隐空间。用户说话期间，模型保持静默，将上一时刻的隐空间状态递归反馈到下一步，并与当前语音输入共同更新内部状态。用户结束后，模型再切换到显式文本或语音生成；若用户插话，则重新回到内部推理状态。

由于隐空间推理与用户说话同步进行，响应前无需再追加一段独立的文本 CoT 推理，同时也减少了在问题尚未完整时过早写出自相矛盾文字的风险。训练上，FLAIR 把听话期间的隐空间状态序列视为隐变量，通过证据下界（Evidence Lower Bound，ELBO）目标优化最终回复。这里同样不存在可直接标注的正确“思考 token”；FLAIR 采用隐变量目标提供替代监督，并需要处理 KL 权重、状态塌缩和训练稳定性。它省去了人工 CoT 标注，训练阶段仍然存在额外开销。

图5 FLAIR 的全双工对话流程与隐空间结构

但它也把最难的问题推到了台前。隐空间状态不可读时，研究者很难判断内部表征究竟在组织有效证据，还是仅与最终答案相关且缺乏因果作用。对需要审计的应用场景，低延迟和中间状态有效性验证需要同时满足。

5、三模态的共同趋势

趋势一：主动感知取代静态编码

视觉中的裁剪与绘图、音频中的降噪与频谱分析，本质上都在修正“一次编码决定一切”的被动感知模式。模型开始像一个智能体那样主动选择证据，并在推理过程中持续更新可用信息。

趋势二：推理接地于模态信息

视觉推理要绑定空间位置和对象关系；音频推理要绑定音高、音色、时序与频谱；机器人推理要绑定动作轨迹和运动学约束。“看起来像推理”和“确实使用了正确证据”需要分开评估。

趋势三：能力与成本同步上升

子目标图像、音频草稿和动作意图能承载比文字更丰富的状态，但会带来更高的 token 密度、训练数据需求和错误传播风险。强版本与工具型中间版本可能长期并存：后者往往更便宜、更可解释，也更容易插入已有系统。

趋势四：隐空间推理的效率与代价

LVR 和 FLAIR 表明，连续状态可以绕过离散 token 的带宽限制，并把部分推理压缩进输入阶段或内部循环。但隐空间 CoT 没有天然正确的“思考 token”监督，通常需要自蒸馏、重建约束或 ELBO 一类替代目标，并付出数据生成、筛选和额外后训练成本。状态塌缩、不可解释和不可验证也随之成为核心问题。从近期工作来看，研究关注点正在继续推进：除了实现隐空间推理，还需要证明这些隐状态确实承载并推动了有效推理。

6、当前局限与开放问题

1. 模态接地与过程评估

最终答案正确，可能来自猜测；答案错误，也可能是感知、规划或执行某一步出了问题。多模态 CoT 需要把评测从“答案是否正确”推进到“模型是否使用了正确证据”，并建立分阶段的过程评估。

2. 隐空间监督与审计

隐空间状态不像文本或边界框那样可以直接检查，而且“能够预测最终答案”和“对最终决策具有因果作用”属于两个不同层次的证据。需要结合因果干预、探针、中间目标或混合显式的检查，验证这些状态到底承载了什么。

3. 工具链扩展

Visual Sketchpad 和 TwS 都依赖预设工具。面对未知任务，模型怎样发现、组合或学习新的视觉与声学操作，并判断何时值得调用它们，仍是多模态智能体的重要问题。

4. 中间状态的误差放大

错误的裁剪框、虚假的子目标图像、偏离声学证据的文本 CoT，都会把早期误差传递到后续步骤。系统需要回溯、证据一致性检查和可恢复的中间状态，减少对单向链式推理的依赖。

5. CoT 攻击面

一旦中间推理直接控制机器人动作或语音助手，攻击者可以通过扰动内部目标、工具调用或动作意图改变系统行为，甚至无需直接篡改最终答案。如何对中间状态和工具调用建立安全约束，是强版本多模态 CoT 必须面对的问题。

结 语

多模态 CoT 的关键在于证据、状态与计算时机

从 LLaVA-CoT 到 Visual Sketchpad，从 TwS 到 UALM-Reason，再到 FLAIR，可以看到一条清晰的技术演进线索：多模态推理正在从“写解释”，逐步走向“主动获取证据、生成可操作中间状态、逐渐把推理压缩进连续空间”。

这条路线也提醒我们，CoT 更应该视为一种可变的设计选择。对于文档问答，最好的“思考”可能是再裁剪一次；对于嘈杂音频，可能是先做源分离；对于机器人，可能是一段动作意图；对于实时语音，则可能是用户听不见、但模型持续更新的隐空间状态。

因此，判断一个系统是否真正具备多模态 CoT，需要同时考察输出形式和内部推理过程。具体包括：推理阶段仍能接触哪些证据，中间状态由哪个模块生成和消费，受到什么目标监督，以及这些状态能否推动正确决策。

大模型的知识又多又杂，到底怎么学？

做这行久了，被问最多的问题就一个：大模型的知识又多又杂，我到底先学啥？翻了一堆资料，看啥都像重点，结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍，零基础、应届生、转行的都适用。跟着走，至少方向不乱、不瞎忙，学完拿得出手。

第一阶段（10天）：初阶应用

这一阶段就一个目标：把大模型真正"玩明白"，不是只会聊天那种，而是能调教它、能用代码把大模型和业务接起来。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

这阶段正式进实战，目标很实在：做出两个能拿出手的东西——一个私有知识库，一个 agent 对话机器人。

• 为什么要做 RAG

• 搭建一个简单的 ChatPDF

• 检索的基础概念

• 什么是向量表示（Embeddings）

• 向量数据库与向量检索

• 基于向量检索的 RAG

• 搭建 RAG 系统的扩展知识

• 混合检索与 RAG-Fusion 简介

• 向量模型本地部署

• …

走完这 30 天，Python 或 JavaScript 背景的基本能独立做一套 RAG 应用，简历上也敢写"大模型应用开发"了。

第三阶段（约20天）：动手微调

学到这，你已经开始 “造” 模型了 —— 通过微调，搞出垂直领域的专用小模型。

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗？

想要入局AI大模型赛道、抢占行业红利的朋友，微信扫描下方CSDN官方认证二维码，即可100%免费领取全套学习资料！

第四阶段（20天）：商业闭环，部署落地

技术学完，落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

想要入坑大模型的朋友，给大家准备了一份2026 年最新 AI 大模型全套学习资料：

1、大模型系统化学习路线

2、大模型学习视频教程

3、大模型学习书籍&电子文档

4、AI大模型最新行业报告

5、大模型项目实战&配套源码

6、2026大模型大厂面试真题

7、为什么要学习大模型？

我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。

8、适合谁学？

• 传统后端 / Java / 前端开发，想转型 AI 应用
• 大学生、应届生，想拿更好的 offer
• 产品经理、运营，想武装职业竞争力
• 技术负责人，想给团队落地提效

学习是反人性的，但回报是真金白银。技术会更新，赛道会切换，但只要你先动手，机会就永远站在你这边。

9、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

想要入局AI大模型赛道、抢占行业红利的朋友，微信扫描下方CSDN官方认证二维码，即可100%免费领取全套学习资料！

好了，就写到这。路线是死的，人是活的，卡住了随时来问我。觉得有用就点个收藏，别让它进收藏夹吃灰——动起来比啥都强。