用了不少 Agent，无论是 Claude Code 还是 Codex，用起来确实方便，但内置的各种 Skill、子 Agent 设置以及 MCP 协议使得代码不具可读性。想研究一下成熟的 Agent 是如何实现的，于是找了 Pi-Agent 作为学习对象。首先它开源，而且只保留了 Agent 核心循环必要的部分，其他组件由用户自行添加构建。我觉得相较于内置功能齐全的 Claude Code 等

本文概述了语言模型构建的关键技术要点。课程内容分为基础知识（分词、模型架构、训练）、系统优化（内核、并行计算、推理）、扩展法则和数据对齐五大部分。重点讲解了分词技术的演进（字符/字节/单词/BPE分词），分析了不同方法的优缺点；详细介绍了GPU并行计算的硬件架构（PCIe/NVLink/NVSwitch）和数据流设计；探讨了推理过程的预填充和解码阶段。文章还讨论了缩放定律（Chinchilla法则

本文介绍了PyTorch框架下深度学习模型的资源计算与训练优化技术。主要内容包括：1）张量基础概念与存储机制，重点分析了不同精度浮点数的特性及其在混合精度训练中的应用；2）张量运算原理与性能分析，详细阐述了对张量的操作以及Einops操作，并计算了前向传播和计算梯度所需的FLOPs；3）模型构建与训练流程，通过理论分析与代码实例的结合，全面展示了深度学习系统的高效实现方法。

本文系统梳理了Transformer架构的演进历程与技术要点。首先从RNN的局限性引出原始Transformer的核心设计。随后详细分析了架构变体，包括pre-norm与post-norm的优劣、RMSNorm优化、SwiGLU等激活函数选择，以及RoPE旋转位置编码的创新。在超参数配置方面，探讨了模型宽深比、前馈网络维度比等关键设计原则，并解析了z-loss、QK归一化等稳定性技巧。最后讨论了G

左图是 Original Transformer 架构，而右图是采用了 MoE 架构的 Transformer 模型。唯一的不同就是相较于 Original Transformer，MoE 架构将每层稠密的 FFN 替换为一组并行且结构相同但参数独立的多组 FFN。同时引入了一个可训练的门控网络作为 Router，为每个 Token 选择 Top_K 个专家模型（Token Choice，见 2.

观察 M(0,0)，它在 Tile_M(0,0) 中，它需要与 W/T 个 Tile_N 进行计算，故需要从 Global_Memory 中移到 shared_memory 中 W/T 次，故。横向读取时，四个 Thread 在 T0 时刻会分别读取到M_0_0，M_1_0，M_2_0，M_3_0，无法实现 Memory Coalescing。（计算一个结果需要 2W，共有 W^2 个数据；换一个

所有需要交互的数据都应尽量保持在同一个 Block 或计算单元内部，确保运算速度达到极致。（ Assignment 1 里写过）结果为（RTX 3070）：2.1.2 矩阵乘法结果为：发现了一个比较有意思的点：对于自己的 3070 小破卡，基本上时间差都是 8 倍：因为对于维度为 n 的方阵来说，矩阵乘法的复杂度为O(n^3)。所以维度为 2 倍，所需时间为 8 倍。但对于 H100 来说，前期不

从优化单个 GPU 的吞吐量到理解训练超大模型所需的复杂性和细节。

本文介绍了PyTorch框架下深度学习模型的资源计算与训练优化技术。主要内容包括：1）张量基础概念与存储机制，重点分析了不同精度浮点数的特性及其在混合精度训练中的应用；2）张量运算原理与性能分析，详细阐述了对张量的操作以及Einops操作，并计算了前向传播和计算梯度所需的FLOPs；3）模型构建与训练流程，通过理论分析与代码实例的结合，全面展示了深度学习系统的高效实现方法。

d. NVSwitch：如果不加Switch，NVLink只能点对点连接（比如GPU0连GPU1，GPU1连GPU2...），形成一条长链，跨GPU通信要走多跳，延迟高。④.输出：Prefill阶段结束时，模型会输出三个向量，分别对应 “computer”、“science”、“is” 这三个位置的最终表示。我超我真是天才吧，见2.1优化。只不过这里的起点是从Byte tokenization开始