这个流程不是一个线性的、一次就能成功的过程，而是一个以评估为导向的、螺旋上升的迭代循环。准备数据 -> 尝试学习 -> 客观评估 -> 发现问题 -> 回头优化 -> 再次尝试，直到得到一个令人满意的解决方案。

核心逻辑：把“装修材料”（训练数据）分成多份，每个GPU（工人）拿一份材料，同时用完整的模型（整栋房子的装修方案）计算梯度；计算完后，所有人把梯度汇总（比如你算的梯度是0.1，我算的是0.2.汇总后是0.3），再用汇总后的梯度统一更新模型参数类比：3个工人同时刷同一栋房子的3个房间，每个人都有完成的“刷墙流程”（模型），刷完后一起商量“下次怎么刷更快”（统一更参数）优点：简单易操作，不用改模型结构

组件作用输入输出使用场景Softmax将Logits转换为概率分布任意实数向量概率分布（和为1）多分类输出层交叉熵衡量预测与真实的差异两个概率分布标量损失值多分类损失函数组合使用完整的分类流水线Logits + 真实标签可优化的损失绝大多数分类任务。

中文名称为-自适应矩估计动量法：像重球滚下山坡一样，它不仅考虑当前的梯度方向，还积累之前的梯度，从而在相关方向上加速并减少震荡。RMSProp：为每个参数自适应地调整学习率。对于不频繁更新的参数，给予更大的更新；对于频繁更新的参数，给予更小的更新。Adam 将这两者结合起来，通过计算梯度的一阶矩（均值）和二阶矩（未中心化的方差）的指数移动平均值，来为每个参数提供自适应的学习率。

实现方式找出每篇文章的TF-IDF最高的关键词挑选包含这些关键词最多的句子把这些句子组合成摘要代码示例import osimport re"""基于tfidf实现简单文本摘要"""#加载文档数据（可以想象成网页数据），计算每个网页的tfidf字典#计算每一篇文章的摘要#输入该文章的tf_idf词典，和文章内容#top为人为定义的选取的句子数量#过滤掉一些正文太短的文章，因为正文太短在做摘要意义不大

技术层面：从单向→双向→多任务统一，从纯文本→知识融合，从依赖微调→零样本 / 少样本，从规模增大→效率优化。核心逻辑：预训练负责 “积累通用知识”，下游适配负责 “落地具体任务”，最终目标是让模型具备「灵活、通用、贴合人类需求」的语言能力。未来方向：更小的模型体积、更高的效率、更强的知识融合能力、更精准的人类意图对齐，以及跨模态（文本 + 图像 / 语音）的统一预训练。

docker系统有两个程序：docker 服务端和docker 客户端。

将容器的文件系统打包成tar文件，也就是把正在运行的容器直接导出为tar包的镜像文件，。

容器卷是容器和宿主机之间的文件共享方式之一。

目标：找到使概率最大的标签序列y关键概念：发射矩阵（Emitter Matrix）：shape 为「序列长度 × 标签数」，表示每个 token 对应每个标签的概率；转移矩阵（Transition Matrix）：shape 为「标签数 × 标签数」，表示从一个标签转移到另一个标签的概率；归一化项：确保概率之和为 1；特征函数：捕捉标签转移和 token 特征的关联。