RAG从入门到精通（一）动手实现RAG

本文介绍了如何快速在本地实现RAG（检索增强生成）系统。核心流程包括文档索引、检索、增强和生成四个步骤，通过向量数据库和大语言模型结合实现知识问答。文章对比了RAG与传统方法的优势，推荐了中文场景下的技术栈：BAAI/bge嵌入模型、Chroma向量数据库和DeepSeek大模型，并提供了基于Ollama和LangChain的代码实现示例。RAG能有效解决知识更新、减少幻觉等问题，适合中小规模中文

大模型损失函数：KL散度（Kullback-Leibler divergence）

等式条件：Jensen 不等式是严格的，当且仅当 Z 在 p 下几乎必然为常数，即对于每个满足 p(x)>0 的 x，\frac{q(x)}{p(x)} 相等。快速推论，因为 D_{KL}(p\|q)=H(p,q)-H(p)，D_{KL} 的非负性意味着 H(p,q)≥H(p)，也就是说，交叉熵始终大于等于真实熵，而只有当模型与真实分布匹配时，交叉熵才等于真实熵。实际上，对于所有分布 p、q，D_

2. Python简介