
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文探讨AI应用从"信息顾问"到"智能执行者"的范式转变,详解LLM-native应用的设计架构与实现方法。对比AI Workflow与AI Agent两种设计模式,展示如何通过LangChain构建稳定高效的AI应用,并提出混合架构优势。介绍MCP协议解决AI与外部系统连接问题,为构建下一代智能应用提供实用指南。

LLM-JEPA是将视觉领域的JEPA思想应用于大语言模型的新方法,通过结合传统下一个词元预测损失和JEPA预测损失,显著提升模型性能。实验表明,该方法在多种模型和数据集上都优于传统方法,特别是在LoRA微调场景下,能用少量参数达到全量微调效果,且表现出强大的抗过拟合能力。这为提升大语言模型的表征学习能力和微调效率开辟了新道路。

文章介绍大模型微调的参数选择方法,分为基于规则和基于学习两类。基于规则的方法如BitFit、层选择和PaFi,通过人工经验选择特定参数子集更新。基于学习的方法如Child-Tuning,引入梯度掩码矩阵自动选择参数子集,分为任务无关和任务驱动两种。这些方法显著减少微调参数,降低计算成本,适合资源受限环境。

本文介绍了Agentic RAG技术,通过智能体实现无需向量化检索的轻量级大模型应用。以餐厅推荐系统为例,展示如何从用户输入提取参数,通过纯Python条件过滤结构化数据检索结果,再由大模型生成友好回复。相比传统RAG,Agentic RAG节省算力存储开销,灵活扩展性强,无需复杂基础设施即可快速验证智能推荐核心流程,适合中小规模数据场景。

DecEx-RAG是一种新型智能体RAG框架,通过将RAG过程解耦为"决策"和"执行"两个阶段,并引入过程监督,解决了传统方法中奖励稀疏和归因困难的问题。该框架创新性地采用带剪枝的搜索树扩展策略高效构建训练数据,并结合SFT与DPO两阶段训练方法。实验表明,DecEx-RAG在性能和数据效率上均显著优于现有方法,为构建更强大的AI智能体提供了新范式。

大模型精调技术是提升模型特定任务表现的关键方法。本文系统介绍了全量参数调整和部分参数微调两大方案,重点讲解了Prompt Tuning、P-Tuning、Prefix Tuning、Adapter和LoRA等高效微调方法。这些方法通过只更新模型部分参数,在保持预训练模型能力的同时,显著降低计算资源需求,减少过拟合风险,提高模型在特定任务上的性能和效率,为大模型应用提供了技术支撑。

②虚假信息:大语言模型可能会生产一些具有极强迷惑性的信息,甚至可能被用于传播虚假信息或进行舆论操纵:当前社交机器人更多停留在一级传播,如果大语言模型和社交机器人相结合,就可能会形成类人的交流能力,带来社交机器人的多级传播,从而强化社交机器人传播虚假信息的负面影响。①算法垄断:大语言模型的训练需要消耗巨大的算力资源,更高的门槛在很大程度上限制了学界对大模型的持续探索,未来可能只有少量大型企业和机构能

大语言模型(LLM)这两年的进化速度,有点像坐高铁。刚开始,大家都在研究怎么用一句话“撬动”模型,提示词工程(Prompt Engineering)应运而生,成了热门话题。但当LLM不再只是问答工具,而是走向复杂智能体(Agent)的核心引擎时,问题就来了:光靠提示词,已经撑不起生产级AI系统。于是,一个更宏观、更系统的新领域出现了——上下文工程(Context Engineering)。

文章研究了大模型在医疗、金融、法律、多模态和agentic五大场景中的评估基准。通过分析24个代表性benchmark,提取了各场景的评估任务和指标架构,包括医疗问答中的准确率与事实性评估,金融领域的信息提取与推理能力测试,法律推理的多维度评估,多模态理解与生成能力测试,以及agentic场景的决策与工具使用能力评估。这些评估体系为大模型在各领域的应用提供了标准化的评测方法。

经过一段时间的学习,我们已经深入了解了 RAGFlow 从文件上传、解析、分块到知识库构建的全过程,并探索了 RAPTOR、知识图谱、标签集等高级功能。至此,知识库的构建阶段已经完成,接下来我们将进入 RAG 应用的核心环节:检索与问答。








