PyTorch学习率 warmup + 余弦退火Pytorch 余弦退火PyTorch内置了很多学习率策略，详情请参考torch.optim — PyTorch 1.10.1 documentation，这里只介绍常用的余弦退火学习率策略。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-noT4RJvn-1641352869753)(解决的问题记录-2021.asse

CUDA是基础平台和API，提供了在NVIDIA GPU上进行计算的能力。nvcc是CUDA Toolkit中的编译器，用于将CUDA代码编译成GPU上可执行的程序。cuDNN是基于CUDA的库，专为深度学习算法优化，简化了在CUDA上开发深度学习应用的复杂度。（名如其名：基于CUDA的深度学习库）通常 CUDA、cuDNN、NVIDIA驱动以及PyTorch版本之间是需要进行兼容的。nvidia

有序回归（Ordinal Regression）序数回归建模的是有序输出，离散但是有顺序的类别。当一个连续的变量在观测的时候被设限时就会产生序数输出的结果。例如：当征求个人意见，但是结果却限制为离散的类别如 “不同意”、“未确定” 和 “同意”。建模过程许多经典的建模类别数据的方法都假设类别是无序的，因此相应的概率是可以交换的。然而，有序类别的排序会导致一致统计模型的所需的特定相关性。特别的，相邻

虽然WSL2可以通过/mnt/c或者/mnt/d去访问windows系统下的文件，但是跨系统访问的代价有点高，会导致读写的速度很慢，因此在wsl2上跑代码经常会卡到I/O上面。

PyTorch自定义损失函数1. 直接使用tensor提供的function接口和python内建的方法import torchimport torch.nn as nnimport torch.nn.functional as funcclass TripletLossFunc(nn.Module):def __init__(self, t1, t2, beta):super(TripletLo