logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

深度解析 P-tuning v2 为什么对大模型有效

提示调谐,只用冻结的语言模型来调谐连续的提示,大大减少了训练时每个任务的存储和内存使用。然而,在NLU的背景下,先前的工作显示,提示调谐对于正常大小的预训练模型表现不佳。我们还发现,现有的提示调谐方法不能处理硬序列标签任务,表明缺乏普遍性。我们提出了一个新的经验发现,即适当优化的提示调谐可以在广泛的模型规模和NLU任务中普遍有效。它与微调的性能相匹配,同时只有0.1%-3%的调整参数。我们的方法

文章图片
#人工智能#机器学习#深度学习
到底了