logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

笔记:Pytorch梯度截断:torch.nn.utils.clip_grad_norm_

torch.nn.utils.clip_grad_norm_梯度裁剪既然在BP过程中会产生梯度消失(就是偏导无限接近0,导致长时记忆无法更新),那么最简单粗暴的方法,设定阈值,当梯度小于阈值时,更新的梯度为阈值,(梯度裁剪解决的是梯度消失或爆炸的问题,即设定阈值)如下图所示1:函数torch.nn.utils.clip_grad_norm_(parameters, max_norm, norm_t

#自然语言处理#pytorch#python +1
到底了