学习率是神经网络训练中最重要的超参数之一，针对学习率的优化方式很多,Warmup是其中的一种。为什么引入学习率衰减？我们都知道几乎所有的神经网络采取的是梯度下降法来对模型进行最优化，其中标准的权重更新公式：学习率a控制着梯度更新的步长(step)，a越大，意味着下降的越快，到达最优点的速度也越快，如果为0，则网络就会停止更新学习率过大，在算法优化的前期会加速学习，使得模型更容易接近局部或全局最优解

函数：len()1：作用：返回字符串、列表、字典、元组等长度2：语法：len(str)3：参数：str：要计算的字符串、列表、字典、元组等4：返回值：字符串、列表、字典、元组等元素的长度5：实例5.1、计算字符串的长度：>>> s = "hello good boy doiido">>> len(s)215.2、计算列表的元...

具体来说，就是将原来一个低分辨的像素划分为rr个更小的格子，利用rr个特征图对应位置的值按照一定的规则来填充这些小格子。C=torch.cat((A,B),0)就表示按维数0（行）拼接A和B，也就是竖着拼接，A上B下。C=torch.cat((A,B),1)就表示按维数1（列）拼接A和B，也就是横着拼接，A左B右。.cat是将两个张量（tensor）拼接在一起，cat是concatnate的意思，

GNN：图神经网络，由于传统的CNN网络无法表示顶点和边这种关系型数据，便出现了图神经网络解决这种图数据的表示问题，这属于CNN往图方向的应用扩展GCN：图卷积神经网络，GNN在训练过程中，有将attention引入图结构的，有将门控机制引入图结构的，还有将卷积引入图结构的，引入卷积的GNN就是GCN，通过提取空间特征来进行学习GCN为图卷积神经网络，其为GNN的一种，区别主要在于采用卷积算子进行

使用savefig()函数将图片保存在指定目录下，在show()前插入，如果在show()后面会出现保存图片为空白现象。plt.savefig('保存图像的路径')