
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
目标不是学机器学习,而是理解AI的基本工作原理和能力边界。1.理解技术边界:知道AI能做什么不能做什么,这是最重要的基础。比如,了解大模型可能存在”幻觉“问题(即瞎编答案),以及处理专业领域问题时的局限性。2.掌握核心概念:了解Transformer架构+、RAG检索增强原理等基础知识。不需要深入数学公式,但要知道这些技术能解决什么问题。3.体验主流产品:深度使用ChatGPT+、Claude+等

本文介绍了文本召回技术,即从向量数据库中召回相关文本片段,这是大模型RAG的核心。文章对比了稠密向量检索模型(BERT、GPT)和稀疏向量检索模型(TF-IDF、BM25)的特点与应用场景。TF-IDF解决了朴素词袋模型的缺点,BM25优化了相似度计算。BERT采用双向注意力机制,GPT采用单向注意力机制,分别适用于语义分析和生成式任务。什么是文本召回?是从向量数据库中召回与用户问题相关的文本片段

本文介绍了文本召回技术,即从向量数据库中召回相关文本片段,这是大模型RAG的核心。文章对比了稠密向量检索模型(BERT、GPT)和稀疏向量检索模型(TF-IDF、BM25)的特点与应用场景。TF-IDF解决了朴素词袋模型的缺点,BM25优化了相似度计算。BERT采用双向注意力机制,GPT采用单向注意力机制,分别适用于语义分析和生成式任务。什么是文本召回?是从向量数据库中召回与用户问题相关的文本片段

维度传统RAG检索方式单次、静态多轮、动态优化推理能力单跳,依赖人工设计多跳,自主分解任务上下文管理固定拼接动态筛选与精炼错误处理无自检机制结果验证与修正适用场景简单问答、文档摘要复杂推理、实时交互、工具调用演进本质:Agentic RAG将RAG从“管道流程”升级为“自主决策系统”,更贴近人类问题解决模式。策略核心逻辑优势局限性Fixed-size固定长度切割高效、通用语义断裂风险Semanti

本文介绍了一种自适应RAG系统,通过LangGraph和本地LLM(Ollama+Mistral)构建,能在Web搜索和向量库检索间智能切换。系统包含两个主要分支:Web Search处理近期事件,Self-Corrective RAG针对知识库并实现自我纠错。该系统具备灵活路由、质量把控、本地化部署等特点,有效解决了大模型知识更新慢的短板,为不同类型问题提供最佳检索策略。。如果直接问 ChatG

本文介绍了一种自适应RAG系统,通过LangGraph和本地LLM(Ollama+Mistral)构建,能在Web搜索和向量库检索间智能切换。系统包含两个主要分支:Web Search处理近期事件,Self-Corrective RAG针对知识库并实现自我纠错。该系统具备灵活路由、质量把控、本地化部署等特点,有效解决了大模型知识更新慢的短板,为不同类型问题提供最佳检索策略。。如果直接问 ChatG

本文详细介绍LangChain中的Memory模块,解决LLM无记忆问题。涵盖ChatMessageHistory管理对话历史、RunnableWithMessageHistory自动添加记忆、ConversationBufferMemory缓冲记忆、ConversationBufferWindowMemory解决Token限制、ConversationEntityMemory实体记忆等实现方法。

本文详细介绍LangChain中的Memory模块,解决LLM无记忆问题。涵盖ChatMessageHistory管理对话历史、RunnableWithMessageHistory自动添加记忆、ConversationBufferMemory缓冲记忆、ConversationBufferWindowMemory解决Token限制、ConversationEntityMemory实体记忆等实现方法。

文章介绍了提升大模型训练效率和降低成本的方法,重点分析了DeepSeek-V2模型中的多头潜在注意力(MLA)机制,通过信息压缩技术显著降低计算复杂度和KV缓存占用,同时保持模型性能。此外,文章详细解释了KV Cache的工作原理、内存管理机制及优化策略,为提高大模型训练和推理效率提供了实用指导。大模型层出不穷,但是如何提升大模型训练效率,减少训练成本,提升模型效果(跑分),一直是大家的研究方向。

文章介绍了提升大模型训练效率和降低成本的方法,重点分析了DeepSeek-V2模型中的多头潜在注意力(MLA)机制,通过信息压缩技术显著降低计算复杂度和KV缓存占用,同时保持模型性能。此外,文章详细解释了KV Cache的工作原理、内存管理机制及优化策略,为提高大模型训练和推理效率提供了实用指导。大模型层出不穷,但是如何提升大模型训练效率,减少训练成本,提升模型效果(跑分),一直是大家的研究方向。
