随着大语言模型 (LLM) 的出现，扩展 Transformer 架构已被视为彻底改变现有 AI 格局并在众多不同任务中取得最佳性能的有利途径。因此，无论是在工业界还是学术界，探索如何扩展 Transformer 模型日益成为一种趋势。

人类在处理复杂的模式识别任务时表现出色，但往往需要借助工具来辅助决策。例如，我们会查阅书籍、使用谷歌搜索或计算器来补充知识，从而得出更准确的结论。。比如，模型可以利用数据库检索工具，查看客户的购买历史，生成个性化的购物推荐。或者，基于用户的查询，模型可以自动进行多次API调用，代替用户回复电子邮件，甚至完成金融交易等操作。要实现这些功能，模型不仅需要能够访问外部工具，还必须具备规划和执行任务的能力

RAG （检索增强生成）是企业 AI 大模型应用落地的主要应用形态之一，特别是在智能问答、报告生成、内容审核、Text2SQL、流程自动化和 AI 编程等领域大规模应用和落地 RAG 架构。

今天想和大家深入探讨一下检索增强生成（RAG）中的一个重要环节——重排序（Rerank）。RAG 技术一直以来都备受关注，尤其是当它与大模型（LLM）结合后，人们都满怀期待地认为：这下终于可以轻松解决那些复杂的问答任务了！然而，现实往往并不如人意。很多开发者在完成一个 RAG 流程后，都会感到困惑：为什么它的效果并没有达到预期呢？

检索增强生成（Retrieval-Augmented Generation, RAG）的核心在于将用户感兴趣的数据无缝连接至大型语言模型（LLM），实现数据驱动的生成式AI功能。这一过程充分结合了生成式AI的强大能力与数据资源的深度融合，使得LLM能够更高效地提供精准且上下文相关的回答。RAG 系统的潜力远不止于传统意义上服务于聊天机器人类型的应用程序，还将在改进业务决策、预测分析等创新型 AI

大语言模型（LLMs）的规模越来越大，但这并不意味着它们就更加出色。由确定性编排和基于代理的架构支持的专业模型，正为我们开辟一条更智能、更精准、更可靠的发展道路。随着大语言模型功能的不断增强，软件开发者和用户的期望也水涨船高，希望能充分利用这些新特性。然而，在追求进步的过程中，我们始终面临着一种平衡难题：每出现一个新的大语言模型，尽管在某些方面有所提升，但随之而来的是可靠性问题，比如信息不准确和所

谷歌最新发现，大模型竟意外对应人脑语言处理机制？！他们将真实对话中的人脑活动与语音到文本 LLM 的内部嵌入进行了比较，结果两者之间呈现线性相关关系。比如语言理解顺序，首先是语音，然后是词义；又或者生成顺序：先计划，再发音，然后听到自己的声音。还有像在上下文预测单词，也表现出了惊人的一致性。其论文发表在了Nature子刊。网友表示：这个问题比大多数人意识到的要重要得多。

微调（Fine-tuning）：通过在预训练模型的基础上进行小范围的训练，适应新任务。提炼（Distillation，知识蒸馏）：通过将大模型的知识转移到小模型，优化模型的效率和存储。迁移学习（Transfer Learning）：将一个任务上学到的知识应用到另一个相关任务，解决数据不足的问题。这三者在实际应用中常常结合使用，根据具体的任务需求选择合适的技术，可以显著提升深度学习模型的效果和效率。

最近，北大校友、前 OpenAI 应用 AI 研究负责人 Lilian Weng 更新了一篇长长长长长长长博客《Why We Think》。

2025年RAG技术并不会消亡，而是以新的范式得到更广泛、深入应用，2025新鲜出炉的Agentic RAG全栈技术综述：全面回顾了RAG的发展历程，从最初的到，再到和，每种范式都有优劣。作为最新范式，通过引入自主Agent实现了动态决策和工作流程优化。详细探讨了的基础原则、架构分类、关键应用，实施策略等全栈技术。