登录社区云，与社区用户共同成长
邀请您加入社区
文章摘要： LightVLA提出了一种高效视觉-语言-动作模型框架，通过可微分token剪枝技术解决传统VLA模型的计算瓶颈问题。该模型采用双分支视觉编码器（DINOv2和SigLIP）提取互补特征，将2176维视觉token输入LLM解码器。相比传统方法，LightVLA显著降低了计算复杂度（从89.34 GFLOPs优化至更高效水平），在LIBERO基准测试上实现了更高任务成功率。创新性的to
本文提出了一种名为 Mesorch 的新型架构，用于图像篡改定位任务。该模型创新性地引入"介观"概念，通过并行结合 CNN（捕捉微观纹理）和 Transformer（提取宏观语义），并辅以频域双流增强与自适应加权模块，实现了多尺度特征的高效融合。实验表明，Mesorch 在多个基准数据集上达到 SOTA 性能，同时通过二次剪枝策略大幅降低计算成本（FLOPs 减少约50%）。该
本文记录了对Qwen3-VL-8B多模态大模型进行结构化剪枝与INT8量化的完整实验过程，通过通道剪枝、分支独立校准和KV Cache量化等技术，实现显存占用下降72.8%，推理延迟降低63%，并在OK-VQA等任务上保持精度损失可控，最终成功部署于生产环境。
摘要： 大语言模型的高资源消耗阻碍了实际部署，需通过量化、剪枝和知识蒸馏优化推理效率。量化降低数据精度（如FP32→INT8），减少内存与计算量，但可能损失精度；剪枝剔除冗余参数（结构化/非结构化），压缩模型规模；知识蒸馏让小模型学习大模型的输出分布，保留性能的同时减小体积。三者常联合使用（如先蒸馏后剪枝+量化），在移动端等场景实现高效推理。这些技术从数据、结构和训练层面协同突破大模型落地瓶颈，是
本文通过一起真实的法律案例揭示了大语言模型的根本缺陷：律师因使用ChatGPT生成虚假判例而受到严厉处罚。文章深入探讨了为何LLM在关键应用中会失败，以及如何通过知识图谱（KG）与LLM的混合架构构建可信赖的智能顾问系统，为专业领域的AI应用提供可验证、可解释、可持续更新的知识基础。
性价比非常高，它用最简单的思想、最低的计算成本，解决了模型压缩这个核心问题中最普遍的部分。尽管它存在理论上的局限性，但在工程实践中，经过迭代微调、正则化以及与激活信息结合等方式的“魔改”后，它依然宝刀不老。尽管从理论上看，梯度剪枝似乎更为“深刻”，但基于权重大小的剪枝凭借其无可比拟的。）探讨了基于梯度的剪枝方法。现在，不妨回归本源，剖析剪枝领域中。基于权重大小的剪枝几乎是所有模型压缩任务的**“第
## 如何学习大模型 AI ？由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。但是具体到个人，只能说是：**“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。**这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家，也可以
自主式检索增强生成（Agentic RAG）的提出代表了RAG技术的重要演进，它通过赋予大语言模型动态调用检索工具、自主规划和调整推理流程的能力，显著提升了处理复杂、多步骤任务的性能。与传统RAG依赖静态、单次检索不同，Agentic RAG将检索深度集成到推理过程中，实现“边思考边搜索”，标志着RAG从“被动增强”向“自主智能体”范式的转变。然而，现有Agentic RAG面临探索效率低下、奖励
个人认为不管是Bert时期还是ChatGPT时期，模型加速从底层实现原理上大同小异，但实施Trick实际上是天上地下，毕竟一脉相承，还是值得去研究的，创新大概就是来源于这种一脉相承、系统性的理解，值得深究！！！
GraphRAG 是一个创新的知识检索与问答增强框架，它巧妙地结合了图数据库技术与检索增强生成（RAG）方法。GraphRAG 往往在处理复杂数据关系任务上取得比传统 RAG 更好地效果，是当下 LLM 领域热门的工程方向之一。
本文系统介绍了深度学习模型压缩的三大核心技术：剪枝通过移除冗余连接减少参数；量化降低数值精度实现存储压缩；知识蒸馏采用"教师-学生"模式让大模型指导小模型学习。文章还详细阐述了技术组合的最佳顺序：知识蒸馏→剪枝→量化，帮助优化模型实现更小尺寸、更快推理速度和边缘设备部署能力。
随着大语言模型(LLM)规模的不断增长，模型参数量已从最初的数亿扩展到数千亿甚至万亿级别。这种规模的模型在推理过程中面临着巨大的计算和内存挑战，即使在最先进的硬件上也难以高效部署。剪枝优化作为一种有效的模型压缩技术，通过移除冗余或不重要的参数，在保持模型性能的同时显著减少计算资源需求。
企业引入AI效果不佳，问题不在技术而在变革管理。五步法让AI真正落地：设定明确小目标；确保数据可靠性；从小任务开始尝试；明确AI与人类各自擅长的领域；让员工从被动学变主动用。通过这五步，企业可让AI从"摆设"变为"利器"，提升团队效率。
毕竟，往模型里塞进一百万个tokens，可能不仅大部分信息都没有用，导致浪费计算资源，还可能干扰模型的判断，导致生成质量下降。如何精细化地管理和优化这些海量上下文，已经成为Context Engineering(上下文工程) 要解决的核心问题。
本文探讨了长上下文在RAG系统中的四种失败模式及解决方案，重点介绍了Context Pruning技术及其代表模型Provence。该模型能整体理解文档，自动判断保留相关内容，同时实现剪枝与重排序。实验证明，Provence在域外泛化能力上表现优异(F1=66.76%)，且与Semantic Highlight技术本质相同。文章强调Context Pruning是RAG优化的核心环节，能显著提升生
本文详细介绍了大语言模型稀疏化技术中的权重剪枝方法，分为无结构剪枝和结构化剪枝两大类。无结构剪枝通过移除个别不重要权重实现高稀疏度，但存在硬件效率问题；结构化剪枝则移除较大结构单元，更适配硬件加速但可能带来更大性能损失。文章分析了各类方法的原理、典型实现及其优缺点，为优化大语言模型性能提供了技术参考。
基于 Transformer 的大语言模型（LLMs）正呈现出明显的规模扩张趋势，这导致了训练和推理阶段的成本大幅上升。然而，现有的方法如模型量化、知识蒸馏和模型剪枝各自存在限制，包括硬件支持受限、对大量训练的依赖以及对模型内部结构的修改等问题。本文提出了一种简洁的逐层结构化剪枝方法，称为层折叠（Layer Collapse, LaCo）。该方法通过将模型的后续层“折叠”进前面的某一层，实现了在保
在科技飞速发展的当下，大模型已然成为 AI 领域的璀璨明星。从智能客服快速响应我们的咨询，到智能写作助手妙笔生花般地创作文章，大模型的身影无处不在。然而，随着大模型规模和复杂度的持续攀升，一个棘手的问题摆在了我们面前：如何在有限的资源条件下，让大模型的推理又快又好？就好比一辆超级跑车，性能虽强，但如果油耗巨大，对路况要求极高，也难以广泛驰骋。专业总结来说，大模型的推理希望有更高的吞吐、更快的响应（
但是技术的进步不止于此，随着视觉-语言大模型（VLM）在视觉问答任务中展现出令人称奇的推理能力，很多研究人员及算法团队开始将其扩展至具身智能和自动驾驶领域，通过引入动作生成功能，形成了视觉-语言-动作（VLA）模型。训练时，依据 ReconPruner 预测的显著性分数，选取分数最高的子集视觉 token，用于被遮挡前景区域的重建。如图 4 所示，ReconPruner 能够精确保留与前景物体相关
压缩率定义为： $$ \text{压缩率} = \frac{\text{原始体积} - \text{剪枝后体积}}{\text{原始体积}} \times 100% $$ 目标是 70% 压缩率，这要求剪枝后体积仅为原始的 30%。Stable Diffusion 模型（基于扩散过程）通常体积庞大（例如，原始模型大小约为 5GB），通过结合通道剪枝和层剪枝，可以显著降低体积，实现高达 70% 的压
这样训练出来的模型，既能判断文档相关性，又能精准地做句子剪枝：推理时，Provence会给每个词打分，然后按句子聚合：如果一个句子里标记为1（相关）的词比标记为0（无关）的词多，就保留这个句子，否则就删掉。（Precision 62.35%，Recall 36.98%），在三个模型中相对较弱，显著低于Provence和XProvence，说明在out-of-domain场景下，模型输出的分数校准和
九条可怜最近在玩一款卡牌游戏。在每一局游戏中，可怜都要使用抽到的卡牌来消灭一些敌人。每一名敌人都有一个初始血量，而当血量降低到 0 及以下的时候，这名敌人就会立即被消灭并从场上消失。现在，可怜面前有 n 个敌人，其中第 i 名敌人的血量是 ai，而可怜手上只有如下两张手牌：如果场上还有敌人，等概率随机选中一个敌人并对它造成一点伤害（即血量减 1），重复 K 次。对所有敌人造成一点伤害，重复该效果
模型压缩技术综述 随着AI模型规模不断扩大，模型压缩技术成为解决存储和计算资源瓶颈的关键手段。本文系统梳理了模型压缩的必要性、目标及主要方法。 核心内容： 必要性：千亿参数模型（如GPT-3）需数百GB存储空间，制约边缘设备部署。 目标：在保持精度前提下，显著降低模型体积（GB→MB级）和计算复杂度（FLOPS）。 关键技术： 量化：通过降低数值精度（FP32→INT8/FP16）压缩存储，加速推
如下图所示，LLM-Streamline 的性能对比已有模型剪枝方法有着明显优势：如图所示，LLM-Streamline 包括了层剪枝与层替换两个步骤：层剪枝阶段会通过输入与输出的余弦相似度来判断各个层的重要性，层替换阶段则训练了一个轻量级蒸馏小模型来弥补剪枝带来的性能损失。此外，团队发现使用准确度来衡量剪枝模型性能的方法有一定局限性，因此，又提出了一个新的指标——稳定性，来衡量剪枝模型的性能。
近年来，大型语言模型（LLMs）在问答任务中表现出色，但解决复杂问题时在多跳推理方面仍有不少挑战。传统方法尝试使用强化学习（RL）来优化搜索策略，使模型在静态 RAG 范式的基础上学会更好地检索和整合外部知识 。然而，现有的**搜索-强化学习（Search-RL）**范式多数只基于**最终答案**设置奖励，在中间查询和多步检索过程中缺乏细粒度的监督，难以应对复杂多跳推理中固有的步骤依赖性问题。
🤖 完全开源、本地优先的AI解决方案，支持文本/语音/图像/视频生成，消费级硬件即可运行！LocalAI 是一款革命性的开源AI框架，专为本地化部署设计。
剪枝
——剪枝
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
DAMO开发者矩阵
2048 AI社区
火山引擎 ADG 社区
