如何在保证模型性能同时，保持模型复杂度。引入教师网络指导学生网络进行训练，从而将教师网络丰富的知识迁移到学生网络。将这一个模型集合的知识压缩到一个single model中，这里使用不同的压缩技术，通过将模型集合中的知识在一个single中，一种新的集合类型：两个组合 （一个或多个的full models + 专家模型-->学着去区分一些细颗粒的类别，而full models并不能区分，比如金毛，

问："她" 指的是谁？你需要回头看句子，找到 "她" 和哪个词最相关人脑会自动建立这种联系Self-Attention 就是让模型具备这种"回头看并建立联系"的能力。每个词都变出 3 个"分身"：用 点积 计算每对词的相关程度：把每行变成概率（每行和为1）：以 "喜欢" 为例，它的新向量 =结果："喜欢"这个词，现在携带了"深度学习"的信息！Self-Attention = 让每个词都能"偷看"其

原图：人占画面 80%（近距离）增强后：人占画面 30%（模拟远距离）→ 模型学会识别小人。