本文详细分析了主流大语言模型(LLaMA-3、GPT-4等)中关键矩阵的规模及其计算复杂度。重点包括：1)Embedding矩阵可达[128K,8K]规模，占据约1.5%模型参数；2)注意力分数矩阵呈二次方增长，如8K序列长度会产生67M元素/头的庞大矩阵，32头叠加显存占用达4.3GB(fp16)；3)KV缓存推理时每层约67MB，32层共2.15GB。文章指出，正是这些高维矩阵催生了Flash

来自Qwen3 Plus截至 2025 年，通用深度学习框架（General-Purpose Deep Learning Frameworks）是指能够支持多种任务.如需具体部署示例（如：用 vLLM 部署 Qwen2-7B，或用 TGI 启动 LLaMA-3），欢迎继续提问截至 2025 年，大模型（如 LLM、多模态模型）的训练对分布式能力、显存优化、通信效率、易用性提出了极高要求。当前主流的

主要大模型Attention架构对比显示：DeepSeek-V2/V3采用自研MLA技术，通过低维隐空间压缩KVCache，显存效率提升5-10倍，适合长文本；Qwen全系列使用GQA分组查询注意力，平衡速度与效果；Llama系列小模型用MHA，大模型(70B+)转向GQA。MLA为DeepSeek独有创新，Qwen和Llama均未采用，三者在显存效率、实现复杂度等方面各具优势。（149字）

TP并行技术摘要 Tensor Parallel(TP)是一种用于大模型训练和推理的并行技术，主要解决单GPU无法承载大模型计算和显存压力的问题。TP通过矩阵切分将计算分布到多GPU上，与按层切分的Pipeline Parallel不同，TP是在同一层内部切分矩阵计算。 TP主要采用两种切分方式：Column Parallel按输出维度切分权重列，每卡计算部分输出；Row Parallel按输入维

TP并行技术摘要 Tensor Parallel(TP)是一种用于大模型训练和推理的并行技术，主要解决单GPU无法承载大模型计算和显存压力的问题。TP通过矩阵切分将计算分布到多GPU上，与按层切分的Pipeline Parallel不同，TP是在同一层内部切分矩阵计算。 TP主要采用两种切分方式：Column Parallel按输出维度切分权重列，每卡计算部分输出；Row Parallel按输入维

主要大模型Attention架构对比显示：DeepSeek-V2/V3采用自研MLA技术，通过低维隐空间压缩KVCache，显存效率提升5-10倍，适合长文本；Qwen全系列使用GQA分组查询注意力，平衡速度与效果；Llama系列小模型用MHA，大模型(70B+)转向GQA。MLA为DeepSeek独有创新，Qwen和Llama均未采用，三者在显存效率、实现复杂度等方面各具优势。（149字）

来自Qwen3 Plus截至 2025 年，通用深度学习框架（General-Purpose Deep Learning Frameworks）是指能够支持多种任务.如需具体部署示例（如：用 vLLM 部署 Qwen2-7B，或用 TGI 启动 LLaMA-3），欢迎继续提问截至 2025 年，大模型（如 LLM、多模态模型）的训练对分布式能力、显存优化、通信效率、易用性提出了极高要求。当前主流的

来自Qwen3 Plus截至 2025 年，通用深度学习框架（General-Purpose Deep Learning Frameworks）是指能够支持多种任务.如需具体部署示例（如：用 vLLM 部署 Qwen2-7B，或用 TGI 启动 LLaMA-3），欢迎继续提问截至 2025 年，大模型（如 LLM、多模态模型）的训练对分布式能力、显存优化、通信效率、易用性提出了极高要求。当前主流的

│├── lm_head (Linear) → 最后映射到词表│││││推理时实际调用路径（vLLM）如果你有具体的qwen3.py代码（比如来自 vLLM GitHub 的某版本），我可以进一步对照源码做逐行分析。希望这个梳理对你理解 Qwen3 在 vLLM 中的执行逻辑有所帮助！

另外，这里用的是F32浮点峰值做例子，如果你的任务不需要浮点运算或是精度不是F32，这个值就意义不大，需要转换成你需要的那个操作。其实不看Tensor core的话，满血版一般有：F64:F32:F16=1:2:4，正好与占用的GPR成反比，这个其实是与GPR的带宽有很大的关联的，一般满血版的卡的功能单元配比就会尽量按极限的GPR带宽来设计。一般说来，实际应用中，较大尺寸的矩阵乘法（GEMM）是难