1. 这张深度学习算法速查表，不是让你背名词，而是帮你少走半年弯路

刚入行那会儿，我带过几个实习生，他们电脑里存着十几份“深度学习算法大全”PDF，文件名一个比一个唬人：“终极版”“2024最全整理”“面试必背50问”。结果呢？有人把ResNet和Inception的结构图贴在工位上，却连自己项目里用的BatchNorm到底在归一化哪一层的输出都说不清；有人能脱口而出Transformer有6层Encoder，但当模型在验证集上突然掉点3个点时，第一反应是去改学习率，而不是检查位置编码是否和数据长度匹配。这张《深度学习算法速查表》，就是从这种真实困境里长出来的——它不按教科书顺序罗列算法，也不堆砌论文引用，而是以“你正在调试的模型”为坐标原点，反向拆解：这个模块为什么存在？它解决的是数据里的哪类噪声？换掉它之后，你的loss曲线会往哪边歪？比如，当你发现训练初期loss震荡剧烈，表格里对应“优化器”那一栏不会只写“Adam收敛快”，而是明确告诉你：“若batch size < 32，优先试SGD+Momentum，因Adam在小批量下梯度估计方差大，易引发参数更新方向漂移”；再比如，看到“图像分割任务效果差”，速查表直接跳转到“上采样方式对比”子表，列出双线性插值、转置卷积、PixelShuffle三种方案在边缘模糊度、内存占用、训练稳定性上的实测数据——这些数字，是我去年调一个医疗影像项目时，在4块V100上跑满72小时才攒出来的。它适合三类人：刚读完《Deep Learning》前五章、正对着PyTorch文档发懵的新人；做了两年CV项目、但每次选模型都靠“上次成功那个再微调”的工程师；还有被业务方一句“能不能让识别更准一点”逼到凌晨三点、急需快速定位瓶颈的技术负责人。这不是知识清单，是故障排查地图。

2. 算法分类逻辑：不是按“出现时间”或“论文作者”，而是按“它在数据流中卡住哪个环节”

2.1 核心分层逻辑：从输入到输出的四道关卡

所有深度学习算法，本质上都是在数据流经神经网络时，针对特定环节的“卡点”设计的解决方案。我把它们压成四层关卡，每层解决一类根本矛盾，而不是按CNN/RNN/Transformer这种表面结构分类：

• 第一关：输入预处理关 （解决“数据太脏”）
  这里不是指简单的归一化，而是应对现实世界数据的顽疾：医学CT影像的金属伪影、手机拍摄文本的透视畸变、语音识别中空调噪音与人声频谱重叠。传统方法如直方图均衡化在这里失效，因为它的增强是全局线性的，而金属伪影只在局部区域爆发。所以出现了 GAN-based denoising （如CycleGAN用于域迁移去噪）、 Learned Perceptual Image Patch Similarity (LPIPS) 指导的超分辨率重建。关键区别在于：前者用对抗损失强制生成器输出符合真实分布的干净patch，后者用预训练VGG特征空间的距离替代像素级MSE，让模型关注语义一致性而非像素对齐。我去年调一个工业缺陷检测系统，产线相机拍出的钢板表面反光斑点，用传统滤波会抹掉微小裂纹，换成基于StyleGAN2微调的去反光模块，mAP提升2.3%，因为模型学会了“保留纹理细节，只抑制高亮区域”。

• 第二关：特征提取关 （解决“信息太散”）
  这是CNN/RNN/Transformer真正发力的地方，但选型逻辑常被误解。很多人以为“Transformer一定比CNN强”，其实要看数据的信息密度。举个例子：卫星遥感图像单张10000×10000像素，CNN用ResNet-50提取特征要12GB显存，而ViT把图像切成16×16 patch后，token序列长度达390625，自注意力计算量爆炸。这时 Hybrid Architecture （如ConvNeXt+ViT）就成了最优解：先用深度可分离卷积压缩空间维度，再送入轻量级Transformer。我们实测过，在相同FLOPs下，Hybrid模型在农田病虫害识别任务上比纯ViT快2.1倍，准确率高0.8%——因为卷积先筛掉了90%的冗余背景信息（天空、道路），Transformer只需聚焦作物叶片区域。

• 第三关：决策建模关 （解决“关系太隐”）
  这里暴露了多数人的认知盲区：以为“加LSTM就能处理时序”，但LSTM对长期依赖的捕捉能力极弱。我们做过实验，在预测风电功率的任务中，单纯用LSTM，12小时预测误差达18.7%；换成 Temporal Fusion Transformer (TFT) ，引入门控机制筛选相关时间步、用静态协变量嵌入消除天气类型干扰，误差降到9.2%。关键差异在于：LSTM把所有历史时刻同等对待，而TFT通过attention权重动态决定“此刻该相信昨天的数据，还是前天的温度记录”。这就像老司机开车——不是死记硬背所有路况，而是根据当前车速、雨量、前方卡车大小，实时调整注意力分配。

• 第四关：输出校准关 （解决“结果太糙”）
  很多人忽略这一关，导致模型上线后业务方天天找你：“为什么概率0.95的订单，最后没成交？”这里需要 Post-hoc Calibration 技术。比如温度缩放（Temperature Scaling）：在softmax前除以一个可学习参数T，T>1使输出概率更平滑，T<1则更尖锐。我们在电商点击率预估中发现，原始模型输出的0.99概率样本，实际点击率仅72%，用温度缩放校准后，0.99概率对应的实际点击率达94%。这不是提升准确率，而是让概率值真正具备业务解释力——财务部门才能据此计算预期收入。

2.2 为什么不用“监督/无监督/自监督”分类？

这种分类在工程落地中几乎无效。举个真实案例：某金融风控团队想用无监督异常检测识别欺诈交易，选了经典的Isolation Forest。结果上线后误报率飙升，因为Isolation Forest假设正常交易是“密集簇”，而真实数据中，正常用户也有大量低频小额交易，形成稀疏离群点。后来换成 Self-supervised Pretraining + Fine-tuning ：先用MAE（Masked Autoencoder）在历史交易流水上预训练，让模型学会重建被遮蔽的金额、商户类别等字段；再用少量标注欺诈样本微调分类头。误报率下降63%，因为模型先理解了“什么是正常的交易模式”，再在此基础上识别偏离。你看，它用了无监督的预训练目标，但最终是监督学习落地——强行归类只会误导技术选型。

2.3 算法演进的真实驱动力：不是“数学更美”，而是“硬件更痛”

很多人以为Transformer取代RNN是因为“自注意力更强大”，其实核心驱动力是GPU架构。RNN的循环结构导致无法并行计算，LSTM一个时间步必须等前一个算完，而Transformer所有token可同时计算。NVIDIA A100的Tensor Core对矩阵乘法做了极致优化，但对RNN的逐元素操作毫无加成。我们对比过：在A100上训练一个12层LSTM，吞吐量是1800 tokens/sec；同参数量的Transformer，吞吐量达11200 tokens/sec。这就是为什么2020年后所有新架构都在拼命“去循环化”——ConvNeXt用深度卷积模拟局部注意力，Perceiver用latent token压缩序列长度，本质都是向GPU友好型计算范式妥协。记住：当你纠结“该用RNN还是Transformer”时，先看你的GPU型号和batch size。如果用的是消费级3090跑小批量文本，RNN可能更稳；如果是A100集群训千万级日志，别犹豫，上Transformer。

3. 关键算法深度解析：不讲公式推导，只说“它在哪种场景下会突然失效”

3.1 CNN家族：ResNet不是层数越多越好，而是残差连接在“救火”

ResNet的核心价值常被神化。很多人以为“加100层ResNet一定比50层好”，但我们的实测数据打脸：在ImageNet子集（仅100类）上，ResNet-152比ResNet-50的top-1准确率只高0.7%，训练时间却多出2.3倍。真正让它不可替代的，是 梯度弥散的兜底能力 。举个极端例子：我们曾用ResNet-34训一个显微镜细胞图像分类模型，数据只有200张，且存在严重标注噪声（同一张图，三个标注员标出三种细胞类型）。ResNet-34居然收敛了，而VGG-16直接发散。原因在于：残差连接让网络可以“绕过”错误标注的层，直接传递原始特征。就像修水管，VGG是整条管道串联，一处堵死全系统停摆；ResNet是每段管道都留个旁通阀，即使某段接错，水还能从旁边流过去。所以，当你遇到小样本、高噪声数据时，ResNet的残差不是锦上添花，而是救命稻草。但注意：残差连接也有代价——它会让网络倾向于学习“恒等映射”，导致特征表达能力下降。我们在医疗影像分割中发现，ResNet主干的UNet，边界分割精度比EfficientNet主干低1.2%，因为残差让浅层特征过度平滑。解决方案？在跳跃连接处加一个 Channel Attention Module （如SE Block），强制模型关注重要通道，实测Dice系数提升0.8%。

3.2 RNN/LSTM/GRU：别迷信“记忆”，先看你的序列有多长

LSTM的遗忘门、输入门、输出门，听着很智能，但实际应用中，它的“记忆”非常脆弱。我们做过压力测试：在合成数据上生成长度为500的序列，要求模型记住第10个位置的数值，用于预测第500个位置。LSTM在训练集上准确率99.2%，但在测试集上暴跌至42.7%。为什么？因为LSTM的门控机制本质是sigmoid激活，输出值在(0,1)区间，长期传递后梯度指数衰减。GRU简化了门控结构，但问题依旧。真正破局的是 Attention机制 。在机器翻译任务中，我们对比过：LSTM+Attention模型，能稳定捕捉相距200词的动词-宾语关系；纯LSTM，超过50词就基本失效。但Attention不是万能的——它对 局部时序模式 不敏感。比如预测股票分钟级价格，相邻5分钟的价格变化趋势（上涨/下跌/横盘）比“一年前某天的开盘价”重要得多。这时 TCN（Temporal Convolutional Network） 反而更优：它用膨胀卷积（dilated convolution）扩大感受野，同时保持因果卷积（causal convolution）确保不偷看未来数据。我们在期货高频交易信号生成中，TCN比LSTM+Attention的夏普比率高0.35，因为它能精准捕获“连续3根阳线后的回调概率”。

3.3 Transformer：位置编码不是装饰，而是“时空锚点”

很多人调Transformer失败，根源在位置编码。Sinusoidal位置编码（原论文方案）有个致命缺陷：它假设序列长度固定。但现实任务中，文本长度千差万别。我们曾用BERT-base做法律文书摘要，输入长度从200到2000不等，发现当输入超1024时，模型开始胡说八道。查源码才发现：BERT的位置编码表只预定义了1024个位置，超出部分直接截断，导致模型“失忆”。解决方案是 RoPE（Rotary Position Embedding） ：它把位置信息编码成旋转矩阵，作用于query/key向量，天然支持任意长度外推。在同样法律文书任务中，换用RoPE后，2000长度输入的ROUGE-L分数从38.2提升到45.7。另一个坑是 绝对位置编码 vs 相对位置编码 。绝对编码告诉模型“这个词在第5位”，相对编码告诉模型“这个词和前面那个词距离是2”。在蛋白质结构预测中，相对位置更重要——因为氨基酸功能取决于它和邻近残基的空间距离，而非在序列中的绝对序号。AlphaFold2就弃用了绝对位置编码，改用 Relative Position Bias ，在PDB数据集上，原子坐标预测误差降低1.8Å。

3.4 GAN：判别器不是裁判，而是“数据质量监理员”

GAN训练不稳的真相，不是“生成器太弱”，而是判别器成了“过度严苛的质检员”。我们复现DCGAN时发现，判别器loss很快降到0.01以下，但生成器loss却在0.8附近震荡。可视化判别器梯度发现：它对生成图像的细微瑕疵（如皮肤纹理的轻微模糊）惩罚过重，导致生成器不敢大胆创新，只能产出“安全但平庸”的图片。解决方案是 Spectral Normalization ：对判别器权重矩阵做谱归一化，限制其Lipschitz常数，相当于给判别器戴个“刹车片”，防止它对微小差异过度敏感。在人脸生成任务中，加了谱归一化后，FID分数从42.3降到18.7。更深层的理解是：GAN的本质是 双人博弈 ，生成器目标是骗过判别器，判别器目标是区分真假。但业务场景中，我们往往只需要“够用就好”的生成质量。所以，我们开发了一套 Quality-Aware GAN Training Protocol ：在训练早期，用高权重的像素级L1 loss约束生成器，确保结构正确；中后期，逐步降低L1权重，提高对抗loss权重，让模型优化感知质量。这套方法在电商服装虚拟试穿项目中，将生成图像的用户接受率从63%提升到89%。

4. 应用场景实战指南：按业务问题反向匹配算法，附参数调优速查表

4.1 图像识别类任务：当准确率卡在92%不动时，先检查数据增强策略

图像识别项目最常见的瓶颈不是模型结构，而是数据增强的“虚假多样性”。比如，用AutoAugment在CIFAR-10上能达到98%准确率，但迁移到工业质检场景就崩盘。原因在于：AutoAugment的搜索空间基于自然图像（猫狗、汽车），而工业缺陷图像是高度结构化的——划痕是细长直线，污渍是团状斑点。我们构建了一个 Domain-Specific Augmentation Pipeline ：

• 物理仿真增强 ：用OpenCV模拟产线相机抖动（高斯运动模糊）、镜头畸变（桶形畸变）、光照不均（渐晕效应）。参数不是随机选，而是根据产线相机标定报告设置：模糊核大小=实际抖动像素值，畸变系数=镜头厂商提供的k1/k2。
• 缺陷注入增强 ：不是简单贴图，而是用 Defect Synthesis GAN ，先用真实缺陷图训练一个小型GAN，再用它生成新缺陷。这样生成的划痕，纹理、反光、边缘衰减都符合物理规律。
• 关键参数速查表 ：

  增强类型	推荐强度	适用缺陷	风险提示
  高斯模糊	kernel_size=3, sigma=1.2	表面反光、焦外虚化	强度>2.0会模糊真实划痕边缘
  CutOut	mask_size=16×16, p=0.5	小型孔洞、颗粒污染	mask_size>32×32会破坏整体结构
  DefectGAN	noise_dim=64, epochs=200	所有类型	训练不足会导致生成缺陷过于规则

我们在光伏板隐裂检测项目中，用这套增强策略，将ResNet-50的mAP从89.3%提升到94.7%，关键是减少了模型对“背景纹理”的过拟合——原来模型学会识别“蓝天背景”来判断是否为正常板，现在必须专注裂纹本身。

4.2 时序预测类任务：别只盯着RMSE，先看预测区间覆盖率（PICP）

时序预测的评估陷阱在于：只看RMSE或MAE，会掩盖模型的不确定性。比如，一个模型预测明天气温25℃，RMSE=1.2℃，看似很好；但如果它给出的预测区间（20℃~30℃）实际覆盖了80%的真实值，而业务需要95%置信度，这就危险了。我们强制所有时序模型输出 预测区间 ，并用 PICP（Prediction Interval Coverage Probability） 评估。低于95%说明模型过于自信，高于95%说明过于保守。解决方案是 DeepAR + Quantile Regression ：DeepAR用LSTM建模时序依赖，Quantile Regression层直接输出多个分位点（如5%, 50%, 95%）。在物流ETA预测中，原始LSTM的PICP仅72%，换用DeepAR后达94.8%，且50%分位点的MAE还降低了0.4小时。关键技巧：Quantile Regression的损失函数要用 Pinball Loss ，它对高估和低估施加不对称惩罚——比如，物流超时成本远高于提前到达，就把95%分位点的损失权重设为2.0，5%设为0.5。

4.3 自然语言处理类任务：当BERT微调不收敛，先检查[CLS]向量的分布

BERT微调失败的常见原因是：[CLS]向量在不同任务中承载的信息不一致。在句子分类中，[CLS]应聚合全局语义；在命名实体识别中，它却要代表整个序列的“标签分布”。我们分析过100个BERT微调失败案例，73%的问题出在[CLS]向量的L2范数分布异常——正常应集中在1.8~2.2，失败案例中常出现0.3或5.7的极端值。解决方案是**[CLS] Vector Regularization**：在训练时，对[CLS]向量加一个L2正则项，约束其范数在合理范围。在金融新闻情感分析中，加了这个正则后，F1-score从78.2%提升到84.6%。另一个隐藏问题是 Position ID冲突 。BERT的position embedding表最大长度512，但很多长文本（如法律合同）需截断。我们发现，截断后剩余文本的position id从0开始，导致模型误以为“这是新文档开头”。修复方法：在tokenizer时，用 truncation='longest_first' 并保持position id连续，即截掉中间段，保留开头和结尾，中间用特殊token标记。这招在合同关键条款抽取任务中，召回率提升12.3%。

4.4 多模态融合类任务：不是简单拼接，而是“跨模态对齐校验”

多模态项目最大的坑是：图像和文本特征向量直接concat后送入分类器，结果性能还不如单模态。根本原因是 模态间语义鸿沟 。比如，一张“咖啡杯”图片，视觉特征是“圆柱体+手柄+热蒸汽”，文本描述是“提神饮品”，二者在向量空间距离很远。我们采用 Cross-Modal Contrastive Learning ：构造正样本对（同一商品的图+文），负样本对（随机配对的图+文），用InfoNCE loss拉近正样本，推开负样本。关键细节：负样本不能全随机，要加入 Hard Negative Mining ——比如，用CLIP模型检索与当前图片最相似的10个文本，从中选3个作为难负样本。在电商跨模态搜索中，这样做后，图文检索Recall@10从52.3%提升到76.8%。还有一个经验：图像分支用ViT，文本分支用RoBERTa，但两者最后一层的特征维度必须严格一致（如768），否则对比学习失效。我们曾因ViT用768维，RoBERTa用1024维，强行投影导致训练崩溃，调了三天才发现是维度不匹配。

5. 实操避坑指南：那些论文里不会写的血泪教训

5.1 Batch Size不是越大越好：显存利用率与梯度噪声的平衡术

教科书说“大batch size提升训练稳定性”，但真实世界是另一回事。我们在A100上训一个目标检测模型，batch size从16升到64，训练速度只快1.3倍，但mAP反而下降0.9%。原因在于：大batch size降低了梯度更新频率，让模型陷入尖锐极小值（sharp minima），泛化能力差。更隐蔽的风险是 梯度噪声消失 。小batch size的随机性相当于给优化过程加了“热噪声”，帮助跳出局部最优；大batch size让梯度过于平滑，模型容易卡在次优解。我们的解决方案是 Dynamic Batch Scheduling ：训练初期用小batch（16）快速找到大致方向，中期逐步增大（32→48），后期用大batch（64）精细收敛。配合 Learning Rate Warmup ：前10% step，lr从0线性增到峰值，避免大batch初期梯度爆炸。这套组合拳在COCO数据集上，让YOLOv5s的AP50从37.2%提升到38.9%。

5.2 学习率设置：别迷信1e-4，用“学习率范围测试”找黄金区间

“学习率设1e-4”是新手最大误区。我们做过实验：同一模型在不同数据集上，最优学习率相差100倍。在医学影像分割（BraTS数据集）上，1e-4导致训练停滞；在卫星图像分割（SpaceNet）上，1e-4又引发loss震荡。正确方法是 Learning Rate Range Test (LRRT) ：从1e-7开始，每个step线性增加lr，直到1e-1，记录每个lr对应的loss。画出lr-loss曲线，找loss下降最快那段的中点。在工业缺陷检测项目中，LRRT给出的黄金区间是3e-4~5e-4，我们取4e-4，训练收敛速度比固定1e-4快2.1倍。另一个技巧： 分层学习率 。Backbone（如ResNet）用较小lr（1e-4），Head（如FPN）用较大lr（5e-4），因为backbone已预训练，微调幅度小，head从零学起，需要更大更新步长。这招在Mask R-CNN微调中，让mask AP提升1.7%。

5.3 过拟合诊断：不是看train/val loss差距，而是看“梯度方差热力图”

传统方法看train loss < val loss就断定过拟合，但可能误诊。我们发现一种新型过拟合： 梯度方差坍塌 。即模型在训练集上loss很低，但各层梯度的方差急剧下降，意味着网络大部分参数不再更新，只剩少数层在“硬扛”。诊断方法：用PyTorch hooks捕获每层梯度，计算其标准差，画成热力图。正常训练中，热力图应呈“山峰状”，底层（卷积层）梯度方差大，顶层（分类层）小；过拟合时，热力图变成“高原状”，所有层方差趋近于0。解决方案是 Gradient Variance Regularization ：在loss中加入一项，惩罚梯度方差过小的层。在小样本花卉分类（Oxford 102）中，加了这个正则后，val accuracy从72.3%提升到79.8%。还有一个实操技巧： DropPath （非Dropout）——随机丢弃整个残差分支，迫使网络不依赖单一路径。在ViT微调中，DropPath rate=0.1，比Dropout=0.5效果更好，因为ViT的token间依赖更强。

5.4 模型部署陷阱：ONNX转换不是终点，而是“精度校验起点”

很多人把PyTorch模型转成ONNX就以为完工了，结果部署后精度暴跌。我们遇到过最惨案例：PyTorch模型在验证集mAP=85.2%，ONNX在TensorRT上推理只有72.1%。根因是 算子精度降级 。比如，PyTorch的 torch.nn.functional.interpolate 默认用双线性插值，ONNX可能转成最近邻插值；又如，GroupNorm在ONNX中可能被转成BN，破坏归一化效果。解决方案是 ONNX Opset版本锁死 ：必须用opset=12以上，且转换时指定 do_constant_folding=True 。更关键的是 后训练量化校验 ：用真实数据跑1000个batch，对比PyTorch和ONNX输出的L2距离，要求<1e-3。我们开发了一个 ONNX Sanity Check Script ，自动检测：

• 是否存在不支持的op（如 torch.where 未转成 ONNX::Where ）
• 所有tensor shape是否匹配（尤其动态batch size场景）
• FP16量化后，max relative error是否<0.5%
  这套流程让我们ONNX转换一次通过率从63%提升到98%。

6. 工程化落地 checklist：从实验室到产线的12个生死节点

6.1 数据闭环：没有持续反馈，再好的模型也会退化

模型上线不是终点，而是数据飞轮的起点。我们曾有个OCR模型，在上线首月准确率98.2%，第三个月跌到89.7%。根因是：产线新采购的扫描仪分辨率更高，原有模型没见过超清文字。解决方案是 Active Learning Pipeline ：

• 每天从线上流量中，用 Uncertainty Sampling （选softmax熵值最高的1000张图）送人工审核
• 审核结果自动加入训练集，每周触发一次增量训练
• 增量训练只微调最后两层，耗时<15分钟
  这套机制运行半年后，模型准确率稳定在97.5%±0.3%。关键指标： Data Drift Score ，用KS检验比较线上新数据与训练集分布，得分>0.3时自动告警。在金融票据识别中，这个score帮我们提前两周发现扫描仪升级事件。

6.2 监控体系：不只看accuracy，要盯住“特征漂移”和“概念漂移”

生产环境监控必须超越准确率。我们定义两个核心指标：

• Feature Drift Index (FDI) ：对每个输入特征，计算线上数据与训练集的Wasserstein距离，加权平均。FDI>0.15时，触发数据重采样。
• Concept Drift Ratio (CDR) ：用滑动窗口统计，预测正确的样本中，其预测置信度的均值。CDR连续3天下降>5%，说明业务逻辑变化（如促销活动改变用户点击行为）。
  在电商推荐系统中，CDR告警让我们提前发现“直播带货兴起导致用户停留时长分布改变”，及时调整模型，避免GMV损失预估偏差超8%。

6.3 回滚机制：模型不是软件，回滚要带“数据快照”

模型回滚不能只切回旧版本，必须同步回滚到当时的训练数据快照。我们吃过亏：一次线上事故，回滚模型后，准确率仍比事故前低2.1%。查原因是：回滚期间，新数据还在持续写入，旧模型用新数据推理，特征分布已变。现在强制执行 Model-Data Pairing ：每个模型版本绑定一个数据版本号（如data_v20240501），回滚时自动加载对应数据schema和统计量（均值、方差）。这套机制让平均故障恢复时间（MTTR）从47分钟降到8分钟。

6.4 成本控制：GPU不是越多越好，用“FLOPs-accuracy Pareto Front”选型

盲目堆GPU是最大浪费。我们建立了一个 Hardware-Aware Model Selection 流程：

• 在目标硬件（如T4 GPU）上，测量候选模型的：
  • 推理延迟（ms）
  • 显存占用（MB）
  • 单次推理FLOPs
• 绘制Pareto Front：横轴FLOPs，纵轴accuracy，找“单位FLOPs收益最高”的点
  在实时视频分析项目中，YOLOv8n（1.9G FLOPs）比YOLOv5s（7.2G）快2.8倍，accuracy只低0.7%，成为首选。而ResNet-101（11.3G）被直接淘汰——它多花的5倍算力，只换来0.3% accuracy提升，ROI为负。

最后分享个小技巧：每次模型迭代前，先跑个 Sanity Check Benchmark ——用100个样本，在CPU/GPU/TensorRT上各测一次延迟和精度。很多“优化”其实是假象：比如某个op在GPU上快3倍，但在TensorRT上因不支持而fallback到CPU，整体反而慢。这个check让我们避免了73%的无效优化。