简介

Meta提出的REFRAG框架针对RAG系统处理长上下文时的延迟高和内存贵问题，利用RAG的块对角注意力稀疏性，通过"压缩-感知-扩展"三步走方式，无需修改LLM结构即可实现高效解码。该框架采用课程学习和强化学习进行训练，实验结果显示可实现30倍TTFT加速和16倍上下文外推，在相同延迟预算下准确率提升1.22%(强检索)与1.93%(弱检索)，显著优于传统方法。

---

正文

LLM时代，RAG已成为知识密集型任务的标准范式。然而，RAG系统在处理长上下文时面临两个核心挑战：

• 延迟高：Time-to-First-Token（TTFT）随上下文长度呈二次增长；
• 内存贵：KV缓存随token数线性增长，导致吞吐量下降。

传统方法试图通过稀疏注意力、上下文压缩等手段缓解，而Meta超级智能Lab首次针对RAG的特殊结构进行优化。（Code、Paper链接在文末）

🔍 RAG的“隐藏结构”：块对角注意力稀疏性

RAG上下文中的检索段落往往：

• 语义差异大（多样性检索）；
• 交叉注意力弱（块对角结构）；
• 大部分token与查询无关。

图7：不同段落间的注意力稀疏性

图7：不同检索段落间的注意力值显著低于段落内部，表明交叉注意力稀疏。

🧩 REFRAG框架：压缩-感知-扩展三步走

REFRAG提出一种无需修改LLM结构的高效解码框架，核心思想是：

用压缩的段落嵌入代替原始token，只在必要时展开完整上下文。

🔧 架构组成

图1：REFRAG架构概览

⚙️ 训练策略：课程学习+强化学习双轮驱动

1️⃣ 课程学习（Curriculum Learning）

图6：课程学习数据混合比例

• 重建任务：从chunk embedding还原原始token；
• 逐步增加难度：从1个chunk到L个chunk；
• 数据混合策略：早期简单样本多，后期复杂样本多。

2️⃣ 强化学习（RL-based Selective Expansion）

RL策略在所有压缩率下均优于随机/启发式选择策略。

• 奖励函数：负困惑度（-perplexity）；
• 策略网络：基于chunk embedding选择展开段落；
• 目标：在压缩率与性能之间找到最优平衡点。

📊 实验：更快、更强、更长

✅ 主实验结果

30× TTFT加速，16×上下文外推

短上下文PPL

长上下文PPL

✅ RAG任务表现

图4：在相同延迟下，REFRAG显著优于LLaMA

图4：在相同延迟预算下，REFRAG通过引入更多上下文，准确率提升1.22%（强检索）与1.93%（弱检索）。

🧪 消融实验：每一步都很关键

https://arxiv.org/pdf/2509.01092

AI大模型学习路线

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓