写文章
- @qq_39667545
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
知识蒸馏的梳理（侵删）
1.定义最早见于Hinton的文章（Distilling the Knowledge in a Neural Networ），主要思想是：先训练一个复杂的模型，然后使用这个复杂模型的输出和数据的真实标签去训练一个需要的小模型。其中复杂模型为Teacher模型，小模型为Student模型。2.分类主要分为基于Logits的知识蒸馏和基于特征的知识蒸馏2.1基于logits的知识蒸馏将teacher
到底了