斯坦福大学CS336课程第三讲系统梳理了大语言模型的架构演进与超参数选择。课程从数据驱动视角，总结了2017年Transformer诞生至今的现代共识：1）架构方面，采用Pre-norm、RMSNorm和RoPE位置编码，移除偏置项，使用GLU变体激活函数；2）超参数遵循经验法则，如前馈网络扩增比例8/3倍、注意力头维度1:1比例、增大词表至10-25万；3）训练稳定性通过Z-loss、QK-no

两个码字之间不同 bit 的个数，叫Hamming distance，海明距离。00000000000000011111后 5 位不同，所以海明距离是 5。IP 数据报已经知道下一跳是谁了，那它怎么在本地链路上真正送过去？帧：承载 IP 数据报成帧：确定帧边界CRC/海明码：发现或纠正传输错误MAC 协议：解决多人共享信道时谁先发MAC 地址：标识本地网卡ARP：把本地 IP 映射到 MAC以太网

P1 是封面，P2-P3 给出本章目标和结构。本章目标有两个层次。cryptography，密码学；authentication，认证；message integrity，消息完整性；cryptography 不只是用来加密，也可以用来认证、签名、保证完整性。application layer：安全电子邮件；transport layer：TLS，也就是 HTTPS 的核心；link layer

网络层理论上可以提供很多种服务。保证送达；保证 40 ms 内送达。保证按序交付；保证最小带宽；限制分组间隔变化，也就是减少 jitter。这些都属于 QoS（Quality of Service，服务质量）范畴。多跳寻路到目的端：靠目的 IP 地址；标明发送端身份：靠源 IP 地址；复用/分解到上层协议：靠 Protocol 字段；处理 MTU 不匹配：靠 Identification、DF、M

斯坦福CS336课程第四讲深入解析了专家混合模型(MoE)的核心原理与技术实现。课程系统性地介绍了MoE的架构优势——通过稀疏激活专家网络实现参数量与计算量的解耦，在保持计算成本不变的同时大幅提升模型容量。重点剖析了路由机制设计、训练稳定性解决方案(如辅助损失、Z-Loss)、系统并行优化策略等关键技术挑战。特别以DeepSeek V3为例，详细拆解了其细粒度专家划分、共享专家设计、无损均衡创新等

本讲强调数据是大语言模型质量与差异化的核心护城河。训练数据大致分为预训练、中期训练与后训练：先用海量网络语料获得基础能力，再用高质量小规模数据强化数学、代码与长上下文，最后用指令微调与对齐数据产出可用的聊天模型。课程梳理了从 BERT 的书籍/维基、GPT‑2 的 WebText 到 Common Crawl 的主流过滤路线（规则过滤与模型分类过滤），以及 The Pile、书籍、代码等垂直数据的

斯坦福CS336课程第十一讲深入探讨了大模型缩放定律的工业实践与数学机制。重点分析了Cerebras-GPT、MiniCPM等开源案例，揭示了最大更新参数化(MUP)的关键作用：通过1/width缩放实现超参数迁移稳定性。课程还对比了传统余弦退火与新型WSD学习率策略的优劣，指出WSD的分段式设计能动态调整训练周期，极大降低了Scaling Laws验证成本。最新趋势显示，工业界正利用缩放定律优化

《斯坦福CS336课程：大模型评估的挑战与方法》摘要：本文深入探讨了语言模型评估的复杂性和现实挑战。评估不仅是测试模型性能的机械过程，更是影响研发方向的关键环节。课程详细分析了评估框架的四个核心环节（输入、模型调用、输出评估和结果解释），并介绍了困惑度等评估指标的优缺点。文章还探讨了各类基准测试（如MMLU、GPQA）的现状与局限，开放式生成评估的难题，以及智能体和安全性评估的特殊要求。特别指出当

网络应用就是运行在端系统上的程序，并通过网络与其他端系统上的程序通信。Web 浏览器和 Web 服务器社交网络即时消息电子邮件多人网络游戏YouTube、Netflix 等流媒体视频P2P 文件共享VoIP，例如 Skype实时视频会议，例如 Zoom搜索引擎远程登录注意，网络应用运行在end systems（端系统）上，而不是运行在网络核心设备上。也就是说：浏览器、Web 服务器、邮件客户端、视

在 SDN 中，路由器或者交换机不再主要负责复杂的路由计算，而是由远程控制器计算转发表，并把表项安装到设备中。控制逻辑从路由器中抽离出来；远程控制器具有全局视角；数据平面设备更像执行者；控制器通过 OpenFlow 等协议向交换机下发转发表。可以理解为：SDN 把网络“大脑”集中到控制器里，让交换机主要负责高速执行。注意，SDN 是，即逻辑集中，不一定物理上只有一台服务器。现实中的 SDN 控制器