首先总结一下模型的结构，以及数据处理的流程，模型的结构由Patch Embedding，Position Embedding，Transformer Encoder，MLP Head五个模块组成，模型运作的流程为，先将图片通过Patch Embedding这个模块处理切割成多个patch，并将图片变成张量形式的数据；创建一个CLS Token，加入到patch的序列中；

在 PyTorch 中，Hook 是一种机制，允许我们在模型的前向传播或反向传播过程中，插入自定义的函数，用来观察或修改中间数据。最常用的 hook 是forward hook（前向钩子），它可以用来获取某一层的输出，也就是我们通常说的中间特征图观察现象可能原因调整方向特征图全 0ReLU 死区、参数异常更换激活函数、重新初始化特征图太早过小Pooling、stride 设太大减小 stride、

硬标签（Hard Label）软标签（Soft Label）它不仅告诉模型“哪个类别是对的”，还告诉模型“对每个类别的置信度”。对比蒸馏强调结构性、相对性，是目前较先进的一种蒸馏方式，特别适合与自监督、对比学习结合使用。

场景是否推荐用 Adam说明小模型训练（如 MLP、CNN）✅✅✅稳定、无需复杂调参，适合快速实验初学者使用或结构新颖✅✅容错率高，容易收敛医学图像初步建模✅✅常用于 baseline 训练复杂大模型（如 Transformer）❌ 不推荐替代方案为 AdamW，更稳定场景是否推荐用 AdamW说明Transformer 模型训练（如 BERT、Swin Transformer）✅✅✅论文标准优化

项目推荐做法分类任务同时记录 train/val loss 与 acc 曲线回归任务使用 MSE / MAE 曲线代替 acc使用多个优化实验用 TensorBoard 对比不同模型表现想快速定位问题绘出训练集 vs 验证集的 loss 曲线，看是否发散# 打印模型摘要，查看各层输出这将给出每一层的输出维度、参数数量、是否需要训练的参数等。对于模型架构的调试非常有用。训练曲线监控：通过或wandb

函数：y = x**2 + 3*x + 1，求dy/dx在x=2的梯度。