统一 API 支持 GPTQ、AWQ、SmoothQuant、SparseGPT 等多种压缩算法。与 Hugging Face 和 vLLM 深度集成，输出可直接被 vLLM 加载部署。定位：微软开源的 PyTorch 分布式训练与推理优化库，侧重于系统与算力优化，与 Hugging Face（模型/数据生态）互补。核心目标：用更少显存训练更大模型、更快训练、更稳扩展。主要子模块（核心）：含 Ze

将文本生成建模为片段式（Episodic）马尔可夫决策过程（MDP）状态 (State)：s_t = (x, y_1, ..., y_{t-1})（当前上下文）动作 (Action)：下一个 Token y_t策略 (Policy)：语言模型 π_θ(y_t | s_t)奖励 (Reward)：通常在序列结束时给出标量奖励 R(x, y)优化目标：支持主流开源模型（LLaMA、Qwen、Baich

核心主题：2025 年大语言模型（LLMs）架构演进不再单纯依赖规模扩张，而是通过架构革新提升模型能力与效率。主要覆盖内容全注意力序列建模稀疏序列建模模型混合专家模型（MoE）状态化序列建模模型多模态语言模型架构新兴方向（扩散语言模型、动态计算、嵌套学习等）演进逻辑：从“静态规则”向“动态适应”、从“稠密计算”向“高效稀疏/混合”、从“单模态”向“原生多模态”转变，追求效率与表达能力的帕累托最优。

方法核心思想可训练部分关键机制解决的问题LoRA低秩近似低秩矩阵 A 和 B (旁路)\(\Delta W = B \cdot A\)，可合并入原权重无推理延迟，极高参数/存储效率AdaLoRA自适应低秩分配SVD 参数化的 P, Λ, Q重要性评分 + 动态预算调度固定秩分配的次优性，模块/层级重要性差异QLoRA量化基座模型 + LoRANF4 量化后的基座 + 16-bit 适配器NF4 数

最重要概念稀疏激活：MoE 的本质——用海量参数换取极低的活跃计算量。Router（门控网络）Experts：MoE 的两大核心组件。：目前最主流的路由策略（尤其是 Top-2）。负载均衡：MoE 训练中最关键的挑战，必须通过辅助损失解决。共享专家（DeepSeek）：现代 MoE 的重要创新方向。MoE vs 稠密模型对比参数容量：MoE ≫ 稠密推理计算量：MoE ≈ 小模型训练难度：MoE

BERT（Encoder-Only，双向理解专家）：像一个“超级阅读理解高手”。它能同时看前后所有内容（双向注意力），非常擅长“吃透”一句话的意思。典型干的事：判断这句话是正面还是负面情感？找出人名、地名？判断两句话是否相似？做搜索排序。它不擅长自己写长文章，因为它不是为“一步一步生成”设计的。GPT（Decoder-Only，续写/生成大师）：像一个“天才故事续写家”。它只能从左往右看已经写过的

技术适用场景优缺点关键点面试/工作出现频率One-Hot玩具级演示维度灾难、无语义★★BoW简单分类、Baseline快、丢失词序★★★TF-IDF关键词提取、搜索、传统ML区分度高、仍丢失语义★★★★★（高频）N-gram语言模型、小数据场景捕捉词序，但稀疏★★★★序号化+Embedding所有现代NLP/LLM项目端到端、可迁移★★★★★（核心）生产中常用组合Baseline语义增强：Word

语言模型核心目标：预测词序列中下一个词或缺失词的概率，对人类语言内在规律建模。四代语言模型演化统计语言模型（SLM）：基于马尔可夫假设的n-gram模型。神经语言模型（NLM）：神经网络（如RNN）+分布式词向量（Word Embedding）。代表：word2vec。预训练语言模型（PLM）：海量无标注数据预训练（biLSTM或Transformer）+下游任务微调。代表：ELMo、BERT、G

语言模型核心目标：预测词序列中下一个词或缺失词的概率，对人类语言内在规律建模。四代语言模型演化统计语言模型（SLM）：基于马尔可夫假设的n-gram模型。神经语言模型（NLM）：神经网络（如RNN）+分布式词向量（Word Embedding）。代表：word2vec。预训练语言模型（PLM）：海量无标注数据预训练（biLSTM或Transformer）+下游任务微调。代表：ELMo、BERT、G

RAG 定义：Retrieval Augmented Generation，通过引入外部知识库检索相关信息，增强大模型生成过程，生成更准确、符合上下文的答案。解决基础大模型痛点知识局限性：模型知识限于训练数据，无法掌握实时或非公开知识。数据安全性：无需将私有数据纳入训练集，避免泄露风险。大模型幻觉：基于概率生成易产生错误内容，尤其在未知领域。优势：简单有效，已成为主流大模型应用方案之一，显著减少幻