利用DeepSeek-R1与RAG（Retrieval-Augmented Generation，检索增强生成）技术可以快速搭建本地知识库。为确保本地知识库的高效搭建，需先准备DeepSeek-R1模型、相关文档/数据集及部署工具（如Ollama）， 随后安装Ollama并部署DeepSeek-R1 ，同时选择并配置文本嵌入模型，最后收集/整理文档并确保其唯一标识符和文本内容， 利用文本嵌入模型转

LangChain 是一个专为构建基于大语言模型（LLMs）的应用而设计的强大框架。它可以帮助开发者高效地创建智能对话、搜索、数据处理、代码生成等 AI 相关应用。本文将从基础概念入手，逐步深入，帮助你全面掌握 LangChain 的核心能力。

如果要使用的模型不在 Ollama 模型库怎么办？至此，我们一起走完了 Ollama 的部署和实战流程。在我看来，Ollama 也许是目前最便捷的大模型部署和使用工具，对小白非常友好。简单的命令行操作，用户即可快速启动和管理模型，极大降低了技术门槛，用户可以专注于模型的应用，而无需关注底层技术细节。此外，Ollama 的离线运行也为数据安全提供了保障。期待大家在使用 Ollama 的过程中，发现更

最近经常有朋友问：如何让DeepSeek结合我们企业的内部知识生成回答？如何让DeepSeek根据小红书的爆款笔记，生成内容？想让AI结合本地信息，每次创建会话时都要上传文件，还限制文件大小，太麻烦了，有没有方法优化？

在自动驾驶行业发展的如火如荼地今天，开发大模型对于其在各种通用场景和关键场景的应用都显得非常的必要了。大模型的开发不仅可以很好的助力以数据驱动为核心的端到端的应用，也可以在后续芯片算力大幅度提升后实现更好的识别效果。然而，考虑到当前应用于车端的智驾域控芯片仍然普及于中低算力芯片，因此，考虑如何采取一定的方法策略将类似transformer这样的AI大模型要素高效的部署到SoC芯片上，这不仅可以显著

在大语言模型（LLM）的微调过程中，强化学习（RL）扮演着至关重要的角色。传统的近端策略优化（PPO）算法虽然被广泛应用于LLM的微调，但其在处理大规模模型时面临着巨大的计算和存储负担。PPO算法需要维护一个与策略模型大小相当的价值网络来估计优势函数，这在大模型场景下会导致显著的内存占用和计算代价。例如，在数十亿甚至千亿参数的语言模型上应用PPO时，价值网络的训练和更新会消耗大量的计算资源，使得训

普通个人电脑选择1.5b的模型就可以了，我16核24G的笔记本一开始选择8b的模型回答很慢，后来改为1.5b的模型问答就快很多了。

本地部署DeepSeek在隐私、性能、定制化、离线使用、成本、独立性、研发和合规性方面具有显著优势，适合对数据安全、性能和定制化有较高要求的用户。

模型蒸馏（Knowledge Distillation）是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）的技术。其核心目标是在保持模型性能的同时，显著降低模型的计算复杂度和存储需求，使其更适合在资源受限的环境中部署。在机器学习中，模型蒸馏是一种优化技术，通过模仿教师模型的输出，训练一个较小的学生模型，从而实现知识的传递。教师模型通常具有较高的性能，但计算成本高昂，而学生模型则更

本篇主要从训练设置（batch size及优化器设置）、训练数据选择两大角度分享大模型训练与微调经验。本篇开始填大模型面经——超细节大模型训练与微调实操经验总结（上）的坑，继续细节的讲讲大模型中训练和微调的经验。本篇主要从训练设置（batch size及优化器设置）、训练数据选择两大角度来具体谈谈经验，下面是一个问题的快捷目录。