分布式训练就是：让多个计算进程、多个GPU甚至多台机器共同完成一次模型训练。GPU 0GPU 1但有两张GPU，不代表显存会自动合并。错误理解：两张卡自动变成48GB显存GPU 0有自己的24GBGPU 1有自己的24GB两张卡拥有独立显存。只有把模型或训练状态主动切分，才能利用两张卡共同承载一个更大的模型。切分通信先决定把什么切开，再决定GPU之间如何交换数据。

检索增强生成（Retrieval-Augmented Generation），将大模型与外部知识库结合，通过检索补充大模型知识，生成更准确的答案。主要解决大模型知识更新慢、幻觉问题，适用于知识密集型任务。它将文档切分成小块，转化为向量存储在知识库中。当用户提问时，系统先通过向量检索找到与问题最相关的文档片段，再交给大型语言模型（LLM）生成自然语言回答。RAG结合了检索与生成，灵活性更强。离线知识

检索增强生成（Retrieval-Augmented Generation），将大模型与外部知识库结合，通过检索补充大模型知识，生成更准确的答案。主要解决大模型知识更新慢、幻觉问题，适用于知识密集型任务。它将文档切分成小块，转化为向量存储在知识库中。当用户提问时，系统先通过向量检索找到与问题最相关的文档片段，再交给大型语言模型（LLM）生成自然语言回答。RAG结合了检索与生成，灵活性更强。离线知识