当前 CPU 能支持什么样规格的内存，以及能支持多大的内存，都是由 CPU 中的内存控制器来决定的。制程工艺的进步带来的好处主要是能效比的提升，单位面积上晶体管的数量增加了，但是需要的能耗却变低了。这里面包含的含义就是，这是一个Intel 的酷睿子品牌的 CPU，i7代表着中高端，代际编号是7，这个代际的处理器架构是 2016 年发布的采用的 Kaby Lake 架构生产的。不同的微架构对核的设计

超级棒这一部分打算从头记录一下CUDA的编程方法和一些物理架构上的特点；从硬件入手，写一下包括线程束的划分、流水线的调度等等微结构的问题，以及这些物理设备是如何与软件对应的。下一部分会写一下cuda中的几种内存划分，进行数据同步，以及优化cuda运行效率的几种方法。

本文详细分析了主流大语言模型(LLaMA-3、GPT-4等)中关键矩阵的规模及其计算复杂度。重点包括：1)Embedding矩阵可达[128K,8K]规模，占据约1.5%模型参数；2)注意力分数矩阵呈二次方增长，如8K序列长度会产生67M元素/头的庞大矩阵，32头叠加显存占用达4.3GB(fp16)；3)KV缓存推理时每层约67MB，32层共2.15GB。文章指出，正是这些高维矩阵催生了Flash

来自Qwen3 Plus截至 2025 年，通用深度学习框架（General-Purpose Deep Learning Frameworks）是指能够支持多种任务.如需具体部署示例（如：用 vLLM 部署 Qwen2-7B，或用 TGI 启动 LLaMA-3），欢迎继续提问截至 2025 年，大模型（如 LLM、多模态模型）的训练对分布式能力、显存优化、通信效率、易用性提出了极高要求。当前主流的

主要大模型Attention架构对比显示：DeepSeek-V2/V3采用自研MLA技术，通过低维隐空间压缩KVCache，显存效率提升5-10倍，适合长文本；Qwen全系列使用GQA分组查询注意力，平衡速度与效果；Llama系列小模型用MHA，大模型(70B+)转向GQA。MLA为DeepSeek独有创新，Qwen和Llama均未采用，三者在显存效率、实现复杂度等方面各具优势。（149字）

TP并行技术摘要 Tensor Parallel(TP)是一种用于大模型训练和推理的并行技术，主要解决单GPU无法承载大模型计算和显存压力的问题。TP通过矩阵切分将计算分布到多GPU上，与按层切分的Pipeline Parallel不同，TP是在同一层内部切分矩阵计算。 TP主要采用两种切分方式：Column Parallel按输出维度切分权重列，每卡计算部分输出；Row Parallel按输入维

TP并行技术摘要 Tensor Parallel(TP)是一种用于大模型训练和推理的并行技术，主要解决单GPU无法承载大模型计算和显存压力的问题。TP通过矩阵切分将计算分布到多GPU上，与按层切分的Pipeline Parallel不同，TP是在同一层内部切分矩阵计算。 TP主要采用两种切分方式：Column Parallel按输出维度切分权重列，每卡计算部分输出；Row Parallel按输入维

主要大模型Attention架构对比显示：DeepSeek-V2/V3采用自研MLA技术，通过低维隐空间压缩KVCache，显存效率提升5-10倍，适合长文本；Qwen全系列使用GQA分组查询注意力，平衡速度与效果；Llama系列小模型用MHA，大模型(70B+)转向GQA。MLA为DeepSeek独有创新，Qwen和Llama均未采用，三者在显存效率、实现复杂度等方面各具优势。（149字）

来自Qwen3 Plus截至 2025 年，通用深度学习框架（General-Purpose Deep Learning Frameworks）是指能够支持多种任务.如需具体部署示例（如：用 vLLM 部署 Qwen2-7B，或用 TGI 启动 LLaMA-3），欢迎继续提问截至 2025 年，大模型（如 LLM、多模态模型）的训练对分布式能力、显存优化、通信效率、易用性提出了极高要求。当前主流的

来自Qwen3 Plus截至 2025 年，通用深度学习框架（General-Purpose Deep Learning Frameworks）是指能够支持多种任务.如需具体部署示例（如：用 vLLM 部署 Qwen2-7B，或用 TGI 启动 LLaMA-3），欢迎继续提问截至 2025 年，大模型（如 LLM、多模态模型）的训练对分布式能力、显存优化、通信效率、易用性提出了极高要求。当前主流的