搬运自LoRA模型，全称Low-Rank Adaptation of Large Language Models，是一种用于微调大型语言模型的低秩适应技术。它最初应用于NLP领域，特别是用于微调GPT-3等模型。LoRA通过仅训练低秩矩阵，然后将这些参数注入到原始模型中，从而实现对模型的微调。这种方法不仅减少了计算需求，而且使得训练资源比直接训练原始模型要小得多，因此非常适合在资源有限的环境

直接pip安装xformers会默认使用支持该xformers的cuda最高版本，可能和环境的cuda版本不对应。中的方法可以指定cuda版本，我的pytorch时2.3.0问题解决。