transformers不是一个基础的神经网络库来一步一步构造Transformer，而是把常见的Transformer模型封装成一个building block，我们可以方便的在PyTorch或者TensorFlow里使用它。只有configuration，models和tokenizer三个主要类。类用于配置模型的各种参数，如模型类型、层数、隐藏单元数等。它允许用户通过创建一个配置对象来自定义

原因:没安装nccl库。

报错RuntimeError: Error building extension 'fused_adam'或者undefined symbol: _ZNSt15__exception_ptr13exception_ptr9_M_addrefEv。卸载已经安装的DeepSpeed,重新安装(也就是换一个新版本)

报错：ImportError: cannot import name 'TikTokenConverter' from 'transformers.convert_slow_tokenizer' (/home/bingxing2/ailab/scxlab0069/.conda/envs/test_llm/lib/python3.9/site-packages/transformers/conver

TFLOPS：指的是每秒钟可以执行的浮点运算次数，它代表着计算机在处理科学计算、机器学习等任务时的处理能力。TFLOPS的单位是万亿次每秒（trillion floating point operations per second)。一般是指单精度性能FP32。TOPS：指的是每秒钟可以执行的整数运算次数，它代表着计算机在处理图像、音频等任务时的处理能力。TOPS的单位是万亿次每秒（trillio

cuda与pytorchcuda与gcc

Xtuner接受jsonl格式的数据，所以我们在实际微调时，常常将文本数据转化成相应的格式进行微调，这里利用chatgpt工具帮我们写python脚本进行数据格式转换，将原xlsx格式。生成一个internlm_chat_7b_qlora_oasst1_e3_copy.py配置文件，修改配置文件。4.下载internlm_chat_7b模型，下载到ft-oasst1文件夹中。internlm_ch

在vscode settings里面编辑settings.json文件(点击edit in settings.json）

macos：~/Library/Application Support/Code/下清除：Cache, CachedData, CachedExtensions, CachedExtensionVSIXs (if this folder exists) and Code Cache。windows：C:\Users\<user_name>\AppData\Roaming\Code下。解决办法：清除

选中按TAB右移，按SHIFT+TAB左移。