【论文信息】

• 论文英文标题：Multimodal learning with next-token prediction for large multimodal models

• 作者：Wang, X., Cui, Y., Wang, J. et al.（北京智源人工智能研究院、清华大学、北京大学）

• 期刊：Nature (2026)

• DOI：10.1038/s41586-025-10041-x

当前人工智能技术正经历深刻变革。从2022年ChatGPT引发的大语言模型浪潮，到2023-2025年多模态模型的快速兴起，AI系统已经能够处理文本、图像、视频等多种数据类型。然而，这些能力的实现方式却存在一个根本性问题：大多数系统采用"专用工具组合"模式——理解语言与图片由独立模型负责，生成图片与视频则由另一套系统承担。这种分工虽然在短期内提升了特定任务的性能，但也带来了协同成本高、泛化能力有限等瓶颈。

早在2018年，美国OpenAI公司基于"预测下一词"（Next Token Prediction）的技术路线训练GPT模型，并于2022年推出ChatGPT，实现了语言大模型的重大突破。这一成功启发了一个核心问题："预测下一词"的架构是否只能适用于语言？能否将其拓展至图像、视频等其他模态，从而开发出真正"一脑多能"的通用多模态模型？

北京智源人工智能研究院理事长、北京大学教授黄铁军团队敏锐地捕捉到了这一研究方向。团队认为，如果将不同模态的数据都转换为统一的"数字积木"（Token），那么模型的任务就可以统一为"预测下一块积木应该如何出现"。基于这一朴素而深刻的洞察，团队开始了为期数年的系统攻关，最终实现了Emu3模型的重大突破。

核心内容解析

统一建模范式的突破

Emu3模型的核心创新在于其统一的建模范式。研究团队将文本、图像、视频等多种模态数据统一转换为离散的Token序列，让模型在单一架构下学习"预测下一个Token"。这意味着无论是阅读文字、欣赏图片，还是观看视频、生成动作，在Emu3的"眼"中都遵循相同的处理逻辑。

与传统多模态系统相比，Emu3实现了真正的一体化设计。传统系统需要多个独立模块协同工作，而Emu3仅需一个模型即可完成理解与生成的双重任务。论文指出，这种统一建模方式不仅简化了系统架构，更重要的是释放了跨模态迁移学习的潜力——模型在某一模态上学到的知识可以自然地迁移到其他模态。

多模态能力的系统性整合

在具体能力层面，Emu3展现出令人瞩目的多功能性：

文本生成方面，模型能够根据指令生成结构清晰、逻辑连贯的文本内容；图像生成方面，用户只需提供文字描述，模型即可生成细节丰富、构图合理的图像；图像理解方面，给定一张照片及相关问题，模型能够结合视觉信息与常识进行精准回答；视频生成方面，模型可以基于初始帧自主生成连续的视频片段，甚至为每段画面配上文字描述。

这些能力此前需要多个专用模型分别实现，而Emu3首次将其整合在统一的框架之下。

Emu3.5：从内容生成到世界建模

在基础版Emu3的基础上，团队进一步推出Emu3.5版本，通过引入大规模长时序视频训练，将模型从"预测下一个词元"拓展到"预测下一个状态"。这一升级使模型开始学习世界随时间演化的统计规律，朝着构建更完整的"世界模型"（World Model）迈出关键一步。

黄铁军教授解释，世界模型的核心目标是让AI系统能够像人类一样理解物理世界的基本规则——物体如何运动、因果关系如何运作、未来可能如何发展。Emu3.5通过学习长时序视频数据，初步具备了捕捉这些规律的能力，为未来更高级的物理推理奠定了基础。

科学价值与应用前景

这把"统一建模"的钥匙，其潜力并不止于多模态内容生成。研究团队指出，该架构可以延伸到物理世界，为机器人操作提供可行的动作序列设想；还可以解读脑信号等复杂生物数据；在科学研究领域，有望加速科学发现与验证过程。《自然》编辑评价指出，智源Emu3这一成果对构建可扩展、统一的多模态智能系统具有重要意义。

关键数据

• 架构统一性：首次在单一模型架构下实现文本、图像、视频三大模态的理解与生成能力整合

• 模态覆盖：Emu3支持文本生成、图像生成、图像问答、视频生成等多项核心任务

• 技术突破：多模态模型分离的"理解"和"生成"两类能力，首次在同一种简单而统一的建模范式下被系统性打通

• 国际认可：这是我国科研机构主导的大模型原创成果首次在《自然》正刊发表

• 路线验证：研究证实"预测下一词"范式不仅适用于语言，更可拓展至图像、视频等多模态数据

影响分析

对学术界的意义

Emu3在《自然》正刊发表具有里程碑意义。这标志着国际顶级学术期刊对中国在多模态AI领域原创性研究的高度认可，打破了此前大模型领域主要由OpenAI、Google等美国机构引领的局面。从学术贡献角度看，该研究提出了"统一Token化+下一Token预测"的多模态扩展框架，为后续研究提供了新的技术路径参考。

对产业界的启发

对于AI产业而言，Emu3证明了"大一统"架构的可行性。相比需要维护多个专用模型的传统方案，统一架构具有系统简洁、协同成本低、迁移能力强等优势。智谱AI等国内企业已基于类似思路推出新一代旗舰模型GLM-5.2，在全球前端开发评估中取得第一名的成绩，表明这一技术路线正在获得产业界的广泛认同。

对通用人工智能发展的启示

更深远的意义在于，Emu3证实了生成式人工智能技术路线的普适性。黄铁军教授表示，这项成果表明人类已经掌握了让不同智能能力在同一体系内涌现的方式，正稳步走上通用人工智能持续演进的道路。正如语言大模型通过"预测下一个词"涌现出推理能力，多模态大模型或可通过"预测下一个状态"涌现出更深层次的物理理解与因果推理能力。

智源Emu3在《自然》正刊发表，是2026年开年中国AI领域的重磅突破。这一成果的可贵之处不仅在于技术指标的提升，更在于其背后体现的原创性思维——将"预测下一词"这一看似朴素的思想拓展到通用多模态领域，并以简洁优雅的方式实现了此前需要多个专用系统才能完成的任务。

当前，全球AI竞争格局正经历深刻重塑。ChatGPT市场份额首次跌破50%，标志着行业从"单极霸权"向"多极竞争"转变。在此背景下，Emu3的成功发表向世界展示了中国科学家的原创能力与战略眼光。我们有理由期待，随着"预测下一个状态"范式的深入发展，AI系统将逐步具备对物理世界的深层理解能力，为通用人工智能的最终实现奠定坚实基础。