定曲线C叫做锥面的准线，构成曲面的每一条直线叫做母线。

在学习大模型训练的过程中，我想到了这一点，因为我记得batch size的大小好像会影响训练结果，但是记不太清了，因此，展开了一系列的调研。

② 优化器状态AdamW 内部存了每个参数的"惯性/动量"。不恢复 = 优化器从零开始"找感觉"，续训后 loss 会抖一下、走弯路。你的直觉主干是对的，只是"加载"这一步要加载的不止模型参数，还有优化器状态和进度，这样才能"无缝接上"，就像训练从没中断过一样。这就是为什么续训存档（500~700M）比纯权重文件（130M）大得多——多出来的主要就是那个"优化器状态"。加载[模型参数 + 优化器状

在学习大模型训练的过程中，我想到了这一点，因为我记得batch size的大小好像会影响训练结果，但是记不太清了，因此，展开了一系列的调研。

② 优化器状态AdamW 内部存了每个参数的"惯性/动量"。不恢复 = 优化器从零开始"找感觉"，续训后 loss 会抖一下、走弯路。你的直觉主干是对的，只是"加载"这一步要加载的不止模型参数，还有优化器状态和进度，这样才能"无缝接上"，就像训练从没中断过一样。这就是为什么续训存档（500~700M）比纯权重文件（130M）大得多——多出来的主要就是那个"优化器状态"。加载[模型参数 + 优化器状

在王道习题（非真题 计组 P267 T12）里面一道题，因为这个细小的差别会导致选错。在数据传输速率中，1K=1000。在数据存储中，1K=1024。

边缘计算在计算上，有简单的计算能力，可以快速处理用户的请求，在存储上，相当于数据中心的cache，在网络上，因为可以在一定程度上进行本地计算，这节省了带宽，降低了网络延迟。

只要满足闭区间连续，开区间可导，就会存在一个ξ。因此是类似于中值定理的逼近方法。泰勒级数和泰勒展开式目前没有用到，以后有机会补充。（闭区间连续，开区间可导（不要求导函数连续）），，而因为只用到了一点n阶导数值，因此在。即可，是关于一个点的定性分析，一般用于。

从全导数和全微分的角度，简单梳理duv=udv+vdu。

λ先等于0和后等于0有本质区别，先等于0就剩单个方程了，后等于0好歹里面还剩一个约束条件：因此，本题解的的λ等于0依旧是条件极值的范畴。