logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

关于batchnorm和layernorm的简单理解方法

batchnorm的工作方式就是,指定C维度,batchnorm会把和该维度所有正交的平面全部拉过来当成一坨,计算norm。具体而言,在以上例子中,0,1,4,5,8,9是一组,计算平均值标准差后norm;注意这里的2代表了(3,2,2)中的中间那个维度,即C维度。在使用layernorm的时候,直接输入[3,2],意思是在所指定的维度【内】计算平均值和标准差。batchnorm指定维度C,在所有

#python#pytorch#算法 +3
到底了