主体代码 import os import numpy as np from PIL import Image import cv2 from tqdm import tqdm from torch.utils.data import Dataset import torch import torchvision.transforms as transforms import torch.nn a

统计学习是关于从数据中学习模型的学科，它结合了统计学、计算机科学和优化理论。目标是学习一个从输入到输出的映射函数，用于预测、分类、回归等任务。其中 X\mathcal{X}X 是输入空间，Y\mathcal{Y}Y 是输出空间。实际上，我们并不是在找唯一的 fff，而是在预设的一个函数集合（即假设空间）中寻找最优的那个。三类学习方法：监督学习、无监督学习、半监督学习。评估的关键：分训练集、验证集和

SENet 只关注“哪个通道重要”，CBAM 则进一步判断：哪些通道重要（Channel Attention）哪些空间位置重要（Spatial Attention）类比人类视觉：不仅知道“哪些颜色”重要（通道），还要知道“看哪里”最重要（空间）

场景是否推荐用 Adam说明小模型训练（如 MLP、CNN）✅✅✅稳定、无需复杂调参，适合快速实验初学者使用或结构新颖✅✅容错率高，容易收敛医学图像初步建模✅✅常用于 baseline 训练复杂大模型（如 Transformer）❌ 不推荐替代方案为 AdamW，更稳定场景是否推荐用 AdamW说明Transformer 模型训练（如 BERT、Swin Transformer）✅✅✅论文标准优化

当你训练好一个深度学习模型后，它会拥有“学习到的参数”，这些参数（权重、偏置等）构成了模型的“知识”。如果不保存这些参数，那么训练好的模型在关闭程序后就会丢失。所以，模型保存就是将训练好的参数（或整个模型）保存到磁盘上，供之后加载使用或部署。state_dictTorchScript 是 PyTorch 的一个中间表示，它允许模型以静态图的形式保存并运行。这使得：可脱离 Python 环境运行可通

)也可以统一使用较小学习率，比如1e-4。这时候，只有最后一层（fc）是可训练的。阶段冻结情况优化哪些层学习率阶段1冻结全部层，fc 除外只训练fc1e-3阶段2解冻layer4训练1e-4阶段3解冻layer3训练1e-5。

场景是否推荐用 Adam说明小模型训练（如 MLP、CNN）✅✅✅稳定、无需复杂调参，适合快速实验初学者使用或结构新颖✅✅容错率高，容易收敛医学图像初步建模✅✅常用于 baseline 训练复杂大模型（如 Transformer）❌ 不推荐替代方案为 AdamW，更稳定场景是否推荐用 AdamW说明Transformer 模型训练（如 BERT、Swin Transformer）✅✅✅论文标准优化

首先总结一下模型的结构，以及数据处理的流程，模型的结构由Patch Embedding，Position Embedding，Transformer Encoder，MLP Head五个模块组成，模型运作的流程为，先将图片通过Patch Embedding这个模块处理切割成多个patch，并将图片变成张量形式的数据；创建一个CLS Token，加入到patch的序列中；

在 PyTorch 中，Hook 是一种机制，允许我们在模型的前向传播或反向传播过程中，插入自定义的函数，用来观察或修改中间数据。最常用的 hook 是forward hook（前向钩子），它可以用来获取某一层的输出，也就是我们通常说的中间特征图观察现象可能原因调整方向特征图全 0ReLU 死区、参数异常更换激活函数、重新初始化特征图太早过小Pooling、stride 设太大减小 stride、

硬标签（Hard Label）软标签（Soft Label）它不仅告诉模型“哪个类别是对的”，还告诉模型“对每个类别的置信度”。对比蒸馏强调结构性、相对性，是目前较先进的一种蒸馏方式，特别适合与自监督、对比学习结合使用。