LangChain 随着版本迭代可用性有明显提升使用 LangChain 要注意维护自己的 Prompt，尽量 Prompt 与代码逻辑解依赖它的内置基础工具，建议充分测试效果后再决定是否使用。

大模型分布式训练的基本概念大模型分布式训练的基本概念1.1 为什么需要分布式训练？模型规模爆炸：现代大模型（如GPT-3、LLaMA等）参数量达千亿级别，单卡GPU无法存储完整模型。计算资源需求：训练大模型需要海量计算（如GPT-3需数万GPU小时），分布式训练可加速训练过程。内存瓶颈：单卡显存不足以容纳大模型参数、梯度及优化器状态。1.2 分布式训练的核心技术数据并行（Data Parallel

大语言模型（LLM）是概率生成系统知识时效性：模型知识截止于训练数据时间点（联网搜索推理局限性：本质是概率预测而非逻辑运算，复杂数学推理易出错（DeepSeek-R1的架构有所不同专业领域盲区：缺乏垂直领域知识幻觉现象：可能生成看似合理但实际错误的内容RAG（Retrieval Augmented Generation）顾名思义，通过检索的方法来增强生成模型的能力。LlamaIndex中提供的pr

大语言模型（LLM）是概率生成系统知识时效性：模型知识截止于训练数据时间点（联网搜索推理局限性：本质是概率预测而非逻辑运算，复杂数学推理易出错（DeepSeek-R1的架构有所不同专业领域盲区：缺乏垂直领域知识幻觉现象：可能生成看似合理但实际错误的内容RAG（Retrieval Augmented Generation）顾名思义，通过检索的方法来增强生成模型的能力。LlamaIndex中提供的pr

官网标题：LlamaIndex 是一个为开发「知识增强」的大语言模型应用的框架（也就是 SDK）。知识增强，泛指任何在私有或特定领域数据基础上应用大语言模型的情况。例如：Question-Answering Chatbots (也就是 RAG)Document Understanding and Extraction （文档理解与信息抽取）Autonomous Agents that can pe

对话模板（Chat Template）本质是把多轮对话（角色+内容）按模型训练时固定的格式拼成单一文本序列，并插入对应的特殊标记（如<|im_end|>等）。模型本身只做“下一个 token 预测”，并不天然理解“哪句是用户/助手/系统”，模板就是训练/推理对齐的“协议”。不同模型家族（Llama / Qwen / ChatML 等）模板不同；格式不对会直接导致生成质量下降甚至“答非所问”。在 H

Qwen-Agent是一个开发框架。充分利用基于通义千问模型（Qwen）的指令遵循、工具使用、规划、记忆能力。Qwen-Agent支持的模型形式：DashScope服务提供的Qwen模型服务支持通过OpenAI API方式接入开源的Qwen模型服务Ragas (Retrieval-Augmented Generation Assessment) 它是一个框架，它可以帮助我们来快速评估RAG系统的性

检索增强生成，是一种结合信息检索（Retrieval）和文本生成（Generation）的技术RAG技术通过实时检索相关文档或信息，并将其作为上下文输入到生成模型中，从而提高生成结果的时效性和准确性。

将文本转成一组 N 维浮点数，即文本向量又叫 Embeddings向量之间可以计算距离，距离远近对应语义相似度大小嵌入（Embedding）是指非结构化数据转换为向量的过程，通过神经网络模型或相关大模型，将真实世界的离散数据投影到高维数据空间上，根据数据在空间中的不同距离，反映数据在物理世界的相似度。向量数据库，是专门为向量检索设计的中间件！高效存储、快速检索和管理高纬度向量数据的系统称为向量数据

LoRA通过添加两个小矩阵B和A来近似原始的大矩阵ΔW，从而减。训练完成后，可以将两个低秩矩阵与原始模型中的权重进行合并，通过引入低秩矩阵来减少微调时的参数量。参数矩阵ΔW表示为两个参数量更小的矩阵B和A的低秩近似来实。其中，B和A的秩远小于原始矩阵的秩，从而大大减少了需要更新。预训练模型中存在一个极小的内在维度，这个内在维度是发挥核。在继续训练的过程中，权重的更新依然也有如此。因此，可以通过矩阵