PyTorch学习率 warmup + 余弦退火Pytorch 余弦退火PyTorch内置了很多学习率策略，详情请参考torch.optim — PyTorch 1.10.1 documentation，这里只介绍常用的余弦退火学习率策略。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-noT4RJvn-1641352869753)(解决的问题记录-2021.asse

有序回归（Ordinal Regression）序数回归建模的是有序输出，离散但是有顺序的类别。当一个连续的变量在观测的时候被设限时就会产生序数输出的结果。例如：当征求个人意见，但是结果却限制为离散的类别如 “不同意”、“未确定” 和 “同意”。建模过程许多经典的建模类别数据的方法都假设类别是无序的，因此相应的概率是可以交换的。然而，有序类别的排序会导致一致统计模型的所需的特定相关性。特别的，相邻

PyTorch自定义损失函数1. 直接使用tensor提供的function接口和python内建的方法import torchimport torch.nn as nnimport torch.nn.functional as funcclass TripletLossFunc(nn.Module):def __init__(self, t1, t2, beta):super(TripletLo