深度学习中，过拟合的本质是模型把训练数据中的“个性”当成了“共性”，导致在新数据上表现差。4. 训练时间过长：迭代次数过多，模型在收敛到通用规律后继续“钻牛角尖”，去适应个别样本的噪声。· 标签平滑：把硬标签（0或1）变成软标签（如0.1和0.9），防止模型对输出过于自信。3. 数据质量差：包含大量噪声（如错误标注），模型强行学习这些错误，干扰了真实规律。1. 训练数据不足：数据量太少，模型很容易

参考：温度系数是可学习的参数，会在训练过程中被优化器更新。深度学习中的温度参数（Temperature Parameter）是什么？-CSDN博客当增大T 的值时，分布变得更加的平坦（较大的值变得更小，较小的值变得更大）；当减小T 的值使，分布变得更加尖峰（较大的值变得更大，较小的值变得更小）。也就是说：温度系数越小，分布越尖锐（温度系数控制剪碎程度的）比如attention中计算每个token的

1. Policy model（策略模型）：RL里专门用来输出动作（LLM里就是生成文本）的模型，是RL流程里的决策主体。RLHF里，SFT微调后的基座backbone，包装成policy model来做文本生成；2. Backbone（骨干/基座）：模型底层基础权重，是policy model的载体。• 大模型RLHF里，policy model就是主大模型，用来生成回答。• 输入当前状态，输出

Roberta：相比bert主要是在训练参数上做了调整：batch size，adam参数，训练数据、nsp loss、epoch数，词表大小。原文链接：https://blog.csdn.net/qq_41111734/article/details/125538102。encoder的hidden层输出用avgpooling，而不是像bert一样用的cls-token。GPT2:仍然仅使用上文

的第一步是不要碰代码，先彻底检查自己的数据。我喜欢用大量时间浏览数千个样本，理解它们的分布，寻找其中的模式。有一次，我发现数据中包含重复的样本，还有一次我发现了损坏的图像／标签。我会查找数据不均衡和偏差。我通常还会注意自己的数据分类过程，它会揭示我们最终探索的架构。比如，只需要局部特征就够了还是需要全局语境？最后，为了更加确保网络是个合理的分类器，我喜欢可视化网络第一层的权重，确保自己获得了有意义

1. Policy model（策略模型）：RL里专门用来输出动作（LLM里就是生成文本）的模型，是RL流程里的决策主体。RLHF里，SFT微调后的基座backbone，包装成policy model来做文本生成；2. Backbone（骨干/基座）：模型底层基础权重，是policy model的载体。• 大模型RLHF里，policy model就是主大模型，用来生成回答。• 输入当前状态，输出

模型预训练（pre-training） 做完基础学习后，再额外做一轮针对性微调训练，就叫 post-training。一句话总结：大模型基础预训练完，后续所有优化训练流程统称 post-training。2. RLHF 人类反馈强化学习：用人类打分再优化，让回答更贴合人的偏好。1. SFT 监督微调：用人写好的问答样本教模型听懂指令；Post-training（后训练）极简解释。

ImageNet-O 包含来自在 ImageNet-1k 数据集中未发现的类别的图像。对ImageNet 1K添加了一些常见的图像损坏（如模糊和噪声），以评估分类器在面对这些损坏时的性能。这样的评估可以帮助研究人员更全面地了解模型的鲁棒性和泛化能力。该数据集包含 7,500 张经过对抗性过滤的图像，很容易导致机器学习模型的性能显著下降。mCE：用于评估模型在面对不同类型的图像扭曲、噪声或其他损坏时

在 Cursor/VS Code 中，左侧资源管理器（文件树）的字体大小没有单独的设置项，它跟随整体界面缩放级别。

访问 GitHub → Settings → Developer settings → Personal access tokens → Tokens (classic)点击 "Generate new token" → "Generate new token (classic)"设置权限（至少需要 repo 权限）生成并复制token。