1. Freeze 方法，即参数冻结，对原始模型部分参数进行冻结操作；2. P-Tuning 方法，参考 ChatGLM 官方代码 ，是针对于大模型的 soft-prompt 方法；3. LoRA 方法，的核心思想就是通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练；4. AdaLoRA 方法是对 LoRA 的一种改进，并根据重要性评分动态分配参数预算给权重矩阵；

【代码】吴恩达机器学习和神经网络第四周assignment4_2个人记录。

1.llama-factory部署在LLaMA-Factory项目中，单显卡可以用命令或训练，多显卡只能用用命令的方式。

【代码】报错importerror: cannot import name ‘llamaforcausallm‘ from ‘transformers‘

1.llama-factory部署在LLaMA-Factory项目中，单显卡可以用命令或训练，多显卡只能用用命令的方式。

报错:

然后在DSW实例的Terminal中执行以下命令，启用免密登录。键进入编辑模式，并将本地生成公钥内容手动复制到该文件中。运行以下命令打开id_rsa.pub文件。添加完成后，按Esc键退出编辑模式，并输入。后按回车键（Enter），保存并退出文件。

【代码】报错ImportError: cannot import name ‘StaticCache‘ from ‘transformers.cache_utils。

报错：解决方法：加载环境。

transformers不是一个基础的神经网络库来一步一步构造Transformer，而是把常见的Transformer模型封装成一个building block，我们可以方便的在PyTorch或者TensorFlow里使用它。只有configuration，models和tokenizer三个主要类。类用于配置模型的各种参数，如模型类型、层数、隐藏单元数等。它允许用户通过创建一个配置对象来自定义