简介

清华大学唐杰教授分享了关于大模型发展的八大关键洞察：基座模型需通过更多数据、参数和计算提升；激活对齐与长尾能力增强效果；Agent是AI进入真实世界的关键；模型记忆需实现完整机制；在线学习与自我评估是未来方向；研发与应用需端到端结合；多模态与具身智能面临挑战；领域大模型将融入主模型，AI应用应回归替代人类工作的本质。

以下为其感悟原文：

一、关于scaling基座模型

预训练使得大模型已经掌握世界常识知识，并且具备简单推理能力。

更多数据、更大参数和更饱和的计算仍然是scaling基座模型最高效的办法。

二、关于激活对齐和增强推理能力

激活对齐和增强推理能力，尤其是激活更全面的长尾能力是保证模型效果的另一关键，通用benchmark的出现一方面评测了模型通用效果，但也可能使得很多模型过拟合。

真实场景下是如何让模型更快、更好的对齐长尾的真实场景，增强实际体感。

mid和post training使得更多场景的快速对齐和强推理能力成为可能。

三、关于Agent

agent是模型能力扩展的一个里程碑，也是体现ai模型进入人类真实*（虚拟/物理）*世界的关键。

没有agent能力，大模型将停留在*（理论学习）*阶段，就类似一个人不断学习，哪怕学习到博士，也只是知识积累，还没有转化为生产力。

原来的agent是通过模型应用来实现，现在模型已经可以直接将agent数据集成到训练过程，增强了模型的通用性，其实难题还是不同agent环境的泛化和迁移并不是那么容易，因此最简单办法也只有不断增加不同agent环境的数据和针对不同环境的强化学习。

四、关于模型记忆

实现模型记忆成为一个必须做的事情，这也是一个模型应用到真实环境必须有的能力。

人类记忆分为短期*（前额叶）、中期（海马体）、长期（分布式大脑皮层）、人类历史（wiki或史书）*四个阶段。

大模型如何实现不同阶段的记忆是个关键，context、rag、模型参数可能分别对应了人类的不同记忆阶段，但如何实现是个关键，一种办法是压缩记忆，简单存在context，如果大模型可以支持足够长的context，那基本有可能实现短中长期的记忆。

但如何迭代模型知识，更改模型参数这还是个难题。

五、关于在线学习与自我评估

在线学习与自我评估。

有了记忆机理，在线学习成为一个重点，目前的大模型定时重新训练，这有几个问题：

• 模型无法真正的自我迭代，但模型的自学习自迭代一定会是下一个阶段必然具有的能力；
• 重新训练还比较浪费，同时也会丢掉很多交互数据。

因此如何实现在线学习是个关键，自我评估是在线学习的一个关键点，要想模型自我学习，模型首先要知道自己对还是不对，如果知道了*（哪怕概率知道）*模型就知道了优化目标，能够自我改进。

因此构建模型自我评价机制是个难题。

这也可能是下一个scaling范式。

continual learning/real time learning/online learning？

六、关于模型研发和应用结合

最后，大模型的发展越来越端到端，不可避免的要把模型研发和模型应用结合起来。

ai模型应用的第一性不应该是创造新的app，他的本质是agi替代人类工作，因此研发替代不同工种的ai是应用的关键。

chat部分替代了搜索，部分其实融合了情感交互。

明年将是ai替代不同工种的爆发年。

七、关于多模态和具身

写在最后的是多模态和具身。

多模态肯定是个未来也很有前景，当下的问题是多模态不大能帮助到agi的智能上界，而通用agi的智能上界到底在哪儿还不知道。

可能最有效的方式还是分开发展，文本、多模态、多模态生成。

当然适度的探索这三者的结合肯定能发现一些很不一样的能力，这需要勇气和雄厚的资本支持。

同理，如果看懂了agent就知道具身的痛在哪里了，太难通用了*（也不一定）*，但至少少样本去激活通用具身能力基本不可能。

那怎么办呢，采数据，或者合成数据，都不是那么容易，也贵。

但反之一旦数据规模上去了，通用能力出来了自然会形成门槛。

当然这只是智能方面的难题，对于具身，机器人本身也是个问题，不稳定，故障频繁都限制了具身智能的发展。

2026年这些都将取得长足进步。

八、关于领域大模型和大模型应用

也讨论一下领域大模型和大模型应用。

我一直认为领域大模型就是个伪命题，都agi了哪有什么domain-specific agi……

但，agi还没实现，领域模型会长时间存在*（多长，不好说，ai发展实在太快了）*。

领域模型的存在本质上是应用企业不愿意在ai企业面前认输，希望构建领域know how的护城河，不希望ai入侵，希望把ai驯化为工具。

而ai的本质是海啸，走到哪里都将一切卷了进去，一定有一些领域公司走出护城河，自然就卷进了agi的世界。

简而言之，领域的数据、流程、agent数据慢慢的都会进入主模型。

而大模型的应用也要回到第一性原理，ai不需要创建新的应用。

ai的本质是模拟人或者代替人或者帮助人实现人类的某些必须要做到事（某些工种）。

可能就是两种，一种就是ai化以前的软件，原来需要人参与的改成ai，另一种就是创造对齐人类某个工种的ai软件，替代人类工作。

所以大模型应用需要帮助到人、创造新的价值。

九、如何学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

学习路线

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓