人工智能智能体是旨在执行任务、做出决策并与人类或其他系统进行交互的自主系统。它们形式多样，从虚拟助手到协调物流或金融运营的高级多智能体系统不一而足。近年来，由于自然语言处理（NLP）、机器学习和生成式 AI（GenAI）的进步，它们的多功能性和应用范围急剧扩大。随着其能力的不断拓展，人工智能智能体正从简单的任务自动化迈向主动式问题解决、战略决策制定，甚至情感智能领域。因此，各行业的组织都认为，在不

想象一下，拥有一款独立运行、全程保密、还能够分析本地文本内容，随时提供精准的对话服务，并且具备联网搜索能力的私有化 AI 应用是一种怎样的体验？本文将带你一步步搭建 DeepSeek + Ollama + Dify，快速部署全功能的私有化 AI 助手。

通过使用微调（fine-tuning）或是检索增强生成（RAG）方式都可解决这一问题。但通常使用微调通常需要耗费大量计算资源、成本高昂，且需要丰富的微调经验。此外Fine tuning需要代表性的数据集且量也有一定要求，且Fine tuning 并不适合于在模型中增加全新的知识或应对那些需要快速迭代新场景的情况。本文介绍的是另外一种方式，通过RAG的方式检索数据信息，这种方式成本低且可以快速地实现

Andrej Karpathy 最新发声，建议用「上下文工程」（context engineering）取代「提示词工程」（prompt engineering）。这个提议并不只是个简单的文字游戏，而是有着背后的思考和洞察。Karpathy 指出，人们一听到「提示词」，就会联想到日常使用 LLM 时输入的简短任务描述。但在真正的工业级 LLM 应用中，填充上下文窗口才是一门精妙的艺术与科学。

关注AI、大模型的朋友们应该都听过用RAG（Retrieval-augmented Generation，检索增强生成）搭建知识库，RAG的基础组成之二就是向量数据库和嵌入模型。

随着 生成式 AI（GenAI）的兴起，向量数据库（Vector Database）迅速走红。然而，向量数据库的应用远不止于大模型（LLM），它同样适用于各种 AI 系统，尤其是在 RAG 的场景下。在 AI 领域，我们经常处理向量嵌入（Vector Embeddings）。向量数据库正是为了高效存储、更新和检索这些嵌入数据而生的：

在过去两年中，检索增强生成（RAG，Retrieval-Augmented Generation）技术逐渐成为提升智能体的核心组成部分。通过结合检索与生成的双重能力，RAG能够引入外部知识，从而为大模型在复杂场景中的应用提供更多可能性。但是在实际落地场景中，往往会存在检索准确率低，噪音干扰多，召回完整性，专业性不够，导致LLM幻觉严重的问题。本文将聚焦RAG在实际落地场景中的知识加工和检索细节，如

工具名称模型支持训练方式优化与加速数据支持工具与集成其他特性Axolotl常见开源大模型全参数微调、LoRA/QLoRA、xformers等多种数据集格式、支持自定义数据格式使用docker本地或云端运行常见开源大模型、多模态模型预训练、指令监督微调、奖励模型训练、PPO/DPO/KTO/ORPO 等Flash Attention、Unsloth、NEFTune、rsLoRA等支持多种数据格式Ll

从 OpenAI 展示的内容中，我们可以这么理解：RFT 就是针对给定 prompt，产生一些包含 cot 的 response ，再通过一个 verifier 来判断 response 是否正确，作为信号来指导模型进行参数更新。

3月6日凌晨，阿里巴巴发布并开源了全新的推理模型通义千问QwQ-32B。千问QwQ-32B是阿里探索推理模型的最新成果。在冷启动基础上，阿里通义团队针对数学和编程任务、通用能力分别进行了两轮大规模强化学习，在32B的模型尺寸上获得了惊人的推理能力提升。