术语核心定义序列转导将一个序列（如英文句子）转换为另一个序列（如德文句子）的任务，典型代表为机器翻译编码器 - 解码器架构序列转导的经典框架，编码器将输入序列映射为连续的特征表示，解码器基于该表示生成输出序列自注意力（Self-Attention）也叫内部注意力，让序列中每个位置关注自身序列的所有位置，用于计算序列的特征表示缩放点积注意力Transformer 的基础注意力模块，通过点积计算查询与

英文名词中文释义简要说明ZeRO-DP模型状态零冗余优化对参数、梯度、优化器状态进行分区，大幅降低模型状态内存ZeRO-R残余状态内存优化优化激活、临时缓冲区、内存碎片PosP_{os}Pos​优化器状态分区ZeRO-DP 阶段1，只存 1/Nd 优化器状态，内存降4 倍PosgP_{os+g}Posg​梯度分区ZeRO-DP 阶段2，梯度也分区，内存降8 倍PosgpP_{os+g+p}Posg

GShard是Google提出的大模型训练框架，通过条件计算与自动分片技术解决了千亿级参数模型训练的三大难题：计算成本高、并行部署难、编程门槛高。其核心创新包括：1）MoE Transformer架构实现计算量与模型容量的亚线性缩放；2）轻量级分片标注API实现模型与并行逻辑的解耦；3）基于XLA的SPMD自动分片编译器支持数千设备高效并行。实验验证表明，6000亿参数的多语言翻译模型在2048个

全分片数据并行（FSDP）：将模型参数、梯度、优化器状态均匀分片到各个 GPU，每个 GPU 仅存储部分分片，训练时按需拼接完整参数，用完即释放的并行方案；DDP（分布式数据并行）：传统数据并行方案，每个 GPU 存储完整模型副本，反向传播时通过 AllReduce 同步梯度，仅适用于中小模型；延迟初始化：先在虚拟 “伪设备” 上构建模型框架、记录初始化操作，再将模型拆分为小块逐一对齐到真实 GP

Megatron-LM 不是“一个训练 API”，而是一个把 Transformer 数学结构、GPU kernel、NCCL collective、显存布局、pipeline 调度和 optimizer state sharding 绑在一起的训练系统。这个 tensor 当前被按哪个维度切了？这个 rank 拥有哪些参数、activation、grad、optimizer state？下一次

【代码】sglang-omni [多模态大语言模型的推理与评测框架]

如果你的场景涉及多轮对话、结构化输出、大规模 MoE 模型部署或需要 TPU 支持，SGLang 会是更好的选择。如果你的场景涉及多轮对话、结构化输出、大规模 MoE 模型部署或需要 TPU 支持，SGLang 会是更好的选择。v0.3: DeepSeek MLA 快 7x，torch.compile 快 1.5x。v0.2: Llama3 服务速度优于 TensorRT-LLM 和 vLLM。大

【代码】sglang-omni [多模态大语言模型的推理与评测框架]

为了探测其他节点Pod中容器的健康状态，k8s提供了以下三种探活方式：HTTPTCPExec命令HTTP方式就是通过容器的IP地址和端口号及及路径调用HTTP Get方法，如果响应的状态码在200到400之间，就认为容器状态健康。TCP通过容器的IP地址和端口号执行TCP检查，如果端口号能被访问，则认为容器状态健康。Exec：在容器中执行一个命令，如果该命令的退出码为0，则表明容器健康。那么kub

ZeRO 的本质是将数据并行训练中优化器状态、梯度、参数三类冗余沿 rank 维度分片存储，通过 reduce_scatter/allgather 在需要时重建，将显存从O16ΨO(16\Psi)O16Ψ降至O16ΨNO16Ψ/N，同时保持与 DDP 相当的通信量，是目前训练千亿级大模型最主流的显存优化方案。