logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型如何实现无损「终身学习」?解析 Share 共享 LoRA 子空间机制

对于亟需在端侧(手机、IoT设备)部署个性化大模型,或者要靠一个底座模型伺候数百个垂直业务场景的企业来说,这种不涨体积、不吃显存、且保护隐私(不存旧数据)的持续学习范式,非常值得一试。未来把它丢进千亿参数模型,让它扛住几百个任务的持续轰炸,其收敛稳定性和子空间容量的极限在哪里,还有待社区的进一步挖掘。这套方法也不挑模态,在 GLUE(NLP)、ImageNet、人体姿态估计,甚至是 Stable

文章图片
#学习#人工智能#深度学习
到底了