本文章以2020年《Contrastive Representation Distillation》的知识蒸馏技术为学习基础来学习知识蒸馏技术。此外还涉及了最新的知识蒸馏方法。例如，DKD，KD++，Review KD，多出口网络+集成学习KD，DisWOT，MSFF，CMKD，CTKD，MGD，PEFD，SimKD，Logits标准化KD，SDD。

本文章以2020年《Contrastive Representation Distillation》的知识蒸馏技术为学习基础来学习知识蒸馏技术。此外还涉及了最新的知识蒸馏方法。例如，DKD，KD++，Review KD，多出口网络+集成学习KD，DisWOT，MSFF，CMKD，CTKD，MGD，PEFD，SimKD，Logits标准化KD，SDD。

本文章以2020年《Contrastive Representation Distillation》的知识蒸馏技术为学习基础来学习知识蒸馏技术。此外还涉及了最新的知识蒸馏方法。例如，DKD，KD++，Review KD，多出口网络+集成学习KD，DisWOT，MSFF，CMKD，CTKD，MGD，PEFD，SimKD，Logits标准化KD，SDD。