logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大语言模型后训练全解析

本文系统阐述了大语言模型(LLM)从基础模型到AI助手的后训练流程,重点解析了SFT、DPO和GRPO三阶段技术。SFT通过指令-回答样本训练模型遵循指令;DPO利用偏好对优化回答质量;GRPO通过强化学习提升推理能力。文章对比了不同训练方法的优劣,强调数据集质量的重要性,并指出RL阶段虽能显著提升性能但需较高算力支持。后训练技术经历了从SFT到DPO再到RL的演进,当前开源工具已使完整流程对开发

文章图片
#人工智能#机器学习#深度学习 +1
大语言模型后训练全解析

本文系统阐述了大语言模型(LLM)从基础模型到AI助手的后训练流程,重点解析了SFT、DPO和GRPO三阶段技术。SFT通过指令-回答样本训练模型遵循指令;DPO利用偏好对优化回答质量;GRPO通过强化学习提升推理能力。文章对比了不同训练方法的优劣,强调数据集质量的重要性,并指出RL阶段虽能显著提升性能但需较高算力支持。后训练技术经历了从SFT到DPO再到RL的演进,当前开源工具已使完整流程对开发

文章图片
#人工智能#机器学习#深度学习 +1
向量数据库索引与检索类型

摘要:向量数据库通过高效索引技术实现语义检索,核心分为数据结构(哈希/树/图/倒排)和压缩(平坦/量化)两大维度。主流组合方案包括IVF-PQ(平衡型)、HNSW-PQ(高维优选)和Vamana(超大规模)。选型需权衡数据量、维度、精度与资源,HNSW现为高维事实标准,IVF-PQ适合内存受限场景,Vamana专注磁盘优化。未来趋势包括硬件加速、多模态索引和自动调参技术。

文章图片
#数据库#人工智能
一文看懂 Claude Skills 原理

Claude Skills 是 Anthropic 推出的模块化AI能力扩展方案,通过"文件系统封装+渐进式披露"机制,为智能体注入标准化领域知识。其核心特点包括:1) 模块化封装元数据、指令和资源三要素;2) 分层加载机制显著降低token消耗;3) 与MCP工具调用协议形成"知识+工具"协同;4) 支持快速构建智能导购等专业应用。该方案解决了传统智能体知

文章图片
#人工智能
向量数据库:解锁AI时代的语义搜索

向量数据库是一种专门用于高效存储、索引和搜索高维向量数据的系统,通过AI模型将非结构化数据转化为向量,实现基于语义的相似性检索。与传统数据库不同,向量数据库无需人工标注即可自动关联语义相似的内容。

文章图片
#数据库#人工智能#AIGC
Memory Sharing(MS, 共享记忆)框架

共享记忆(MS)框架通过构建多智能体共享记忆池,解决LLM智能体在开放式任务中示例不足、理解有限的问题。该框架将智能体生成的提示-回答对作为可复用记忆存入全局池,通过动态检索和更新机制增强上下文学习能力。核心组件包括记忆生成、写入和检索,确保高质量记忆的积累和精准匹配。实验表明,MS框架能显著提升智能体在文学创作、逻辑推理等任务中的表现,打破记忆孤岛并降低开放式任务门槛,实现系统的持续优化。

文章图片
#人工智能#语言模型#架构
上下文工程

上下文工程是优化大语言模型(LLM)动态上下文管理的系统性方法,旨在解决智能体在长时运行中的上下文爆炸和性能衰减问题。核心策略包括卸载、缩减、检索、隔离和缓存上下文,通过外部存储、智能摘要、语义搜索等技术降低Token消耗,提升响应效率。典型应用涵盖研究助手、多模态系统和企业自动化场景。多智能体架构通过任务分解和上下文隔离显著提升性能,但面临注意力分散、工具调用复杂等挑战。未来将聚焦自动化管理、多

文章图片
#人工智能#语言模型
RAG 查询重写

RAG系统中查询重写技术通过多策略优化解决用户查询模糊、复杂或依赖上下文的问题。多查询重写生成语义相关的查询变体提升召回率;问题分解将复杂查询拆解为子问题逐个检索;Step-Back策略先检索抽象框架再定位细节;指代消解解决对话中的代词指代问题。四种策略协同应用可显著提升检索效果:召回率提升20-30%,复杂查询准确率提升40-50%,专业查询漏检率降低35-45%,对话场景错误率降低50-60%

文章图片
#人工智能
Spring AI MCP 客户端 Boot Starter 全解析

SpringAIMCP客户端BootStarter是为SpringBoot应用提供MCP协议客户端自动配置的组件,支持STDIO、SSE和SSEWebFlux三种传输协议,提供SYNC/ASYNC两种客户端类型。具备多实例管理、自动初始化、生命周期管理等核心功能,可与SpringAI工具执行框架集成。通过配置文件可灵活定义连接参数,支持自定义客户端行为,适用于需要与MCP服务器交互的AI应用。组件

文章图片
#spring#后端
多路召回(Multi-Route Retrieval)

多路召回技术通过并行执行多种检索策略(关键词、语义、多模态等),再采用融合算法(RRF、加权排名)生成最终结果,有效解决单一检索的局限性。其架构包含多策略并行检索(稀疏/稠密/多模态)、智能融合算法和动态调优机制。Milvus等工具支持混合检索实现,典型步骤包括数据预处理、索引构建和多路召回执行。该技术优势在于多维度语义覆盖、场景动态适配和成熟工程化落地,适用于医疗、电商等需要高召回率的领域。

文章图片
#人工智能
    共 21 条
  • 1
  • 2
  • 3
  • 请选择