大模型相关名词详解
·
模型蒸馏
是什么
一句话：
把一个大模型的 “知识”，教给一个小模型，让小模型变厉害，但体积更小、跑得更快。
你可以理解成：
大模型 = 经验丰富的老教师（准确率高，但又大又慢）
小模型 = 刚入门的学生（小、快，但原本不准）
蒸馏 = 老教师把解题思路教给学生
实现原理及详解
https://cloud.tencent.com/developer/news/2512087
意义
输出一个体积小、速度快、性能接近大模型的小模型，可以：
- 大幅提升模型效率：模型参数量降低，减少资源需求
- 显著缩短模型训练时间：避免从零训练，缩短训练周期
- 增强模型泛化性与鲁棒性
- 多样化场景的部署与适配
DinoV3
解说视频：
https://www.bilibili.com/video/BV1y3enzNEV8/?spm_id_from=333.337.search-card.all.click&vd_source=e310b038e4de5e3f00bc6de8dc101cd2
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)