升级 bitsandbytes 库，这里博主选用 0.38.1 版本的 bitsandbytes 解决了问题；--delta-path 表示第 3 步中下载的 vicuna-7b-delta-v1.1 权重的存放地址；--bash-model-path 表示第 3 步中下载的 llama-7b-hf 权重的存放地址；--target-model-path 表示生成 Vicuna 权重的存放地址；4

mask self attention 与 self attention 最大的区别在于：self attention 中每一个 token 可以看到和获取所有 token 的特征，而 mask self attention 的 token 只能看到其前面（左边）的 token 特征，并不能聚合其后面的 token。对于上图的 mask self attention，a1 只能聚合本身的特征，a2

将events按时间戳累积到不同通道内。1--代码和数据参考。

在 VSCode 中，Ctrl+shift+p → QtConfigure: New Project → 命名且选择编译器（这里博主选用 MinGW）；点击 .ui 文件，ctrl+shift+p 选择在 Qt Designer 中进行编辑；也可以在 .cpp 文件中修改组件的设置，例如设置 button 为不可点击等，可自行测试！环境变量设置对应已安装好的 QT 目录（这里博主选用的是 Qt5.

C++17 标准规定 comparison object must be invocable as const，则参数列表必须加 const 修饰！

出现上述问题的原因在于：输入数据到网络模型进行推理时，会默认构建计算图，便于后续反向传播进行梯度计算。而构建完整的计算图，会增加计算和累积内存消耗，从而导致 GPU显存使用量不断增加；基于 Pytorch 使用 VGG16 预训练模型进行分类预测时，出现 GPU 显存使用量不断增加，最终出现 cuda out of memory 的问题；由于博主只使用 VGG16 预训练模型进行分类预测，不需要训

利用 Trainer 可以快速进行模型训练的配置，一般需要设置训练的模型以及训练相关参数等；1--Trainer的使用。1--Trainer的使用。1-1--简单Demo代码。

程序参考《CUDA By Example》，需要说明的是：博主基于 linux 系统实现以下程序，"cuda.h" 和 "cuda_runtime.h" 在安装好 CUDA 后即可直接引用，相应的头文件路径为 “/usr/local/cuda-11.3/targets/x86_64-linux/include”;③ 核函数（Kernel）：在 GPU 设备上执行的函数称为核函数（Kernel）；②

即不能一次加载完整的数据集到内存中，而频繁的io请求来加载单个样本的数据，也会导致机械硬盘的io瓶颈。博主也想过这个问题，但问题是博主读取训练样本的时候是随机产生索引的（即shuffle），我并不能保证一个batchsize中产生的样本索引都在这个大文件中，所以这种方法并不合适。，即把CPU对数据集进行预处理的模块放在显卡上进行，不再由CPU放在内存中进行，而是直接传送到GPU上处理。由于内存的紧

常用的 top_k 指标有 top_1、top_5 和 top_10等;top_10准确率：前10个概率最高的类别中，包括真实类别的准确率;top_1准确率：前1个概率最高的类别中，包括真实类别的准确率；top_5准确率：前5个概率最高的类别中，包括真实类别的准确率；1--top_k指标的定义。1--top_k指标的定义。