大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferred compact convolutional filters等），近年来受到了学术界和工业界的广泛关注。为了在资源有限的设备上部署深度模型，Bucilua 等人在2006年首次提出了模型压缩技术来迁移大模型或集成模型里的

大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferred compact convolutional filters等），近年来受到了学术界和工业界的广泛关注。为了在资源有限的设备上部署深度模型，Bucilua 等人在2006年首次提出了模型压缩技术来迁移大模型或集成模型里的

大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferred compact convolutional filters等），近年来受到了学术界和工业界的广泛关注。为了在资源有限的设备上部署深度模型，Bucilua 等人在2006年首次提出了模型压缩技术来迁移大模型或集成模型里的