在主机从头配置 caffe 会出现许多环境兼容问题，这里使用 Docker 安装 GPU 版本的深度学习框架 caffe；运行上述指令，可以创建一个名称为 caffe_gpu 的容器；2--使用Nvidia Docker安装caffe-gpu。1--搜索caffe镜像。① 测试 caffe 库。3--使用镜像创建容器。

即不能一次加载完整的数据集到内存中，而频繁的io请求来加载单个样本的数据，也会导致机械硬盘的io瓶颈。博主也想过这个问题，但问题是博主读取训练样本的时候是随机产生索引的（即shuffle），我并不能保证一个batchsize中产生的样本索引都在这个大文件中，所以这种方法并不合适。，即把CPU对数据集进行预处理的模块放在显卡上进行，不再由CPU放在内存中进行，而是直接传送到GPU上处理。由于内存的紧

1--利用netron库可视化神经网络介绍：netron是一个深度学习模型可视化库，其可视化pytorch神经网络模型的两个步骤为：①pytorch保存神经网络模型为onnx格式，代码如下：torch.onnx.export(model, data, onnx_path)# model为神经网络模型# data为模型输入数据# onnx_path为模型保存的文件名②导入onnx模型文件至netro

升级 bitsandbytes 库，这里博主选用 0.38.1 版本的 bitsandbytes 解决了问题；--delta-path 表示第 3 步中下载的 vicuna-7b-delta-v1.1 权重的存放地址；--bash-model-path 表示第 3 步中下载的 llama-7b-hf 权重的存放地址；--target-model-path 表示生成 Vicuna 权重的存放地址；4

令：position = p，则position * div_term。分别取行数列和奇数列，就可以得到上图绿框所示的公式。2--源码分析与理解。

出现上述问题的原因在于：输入数据到网络模型进行推理时，会默认构建计算图，便于后续反向传播进行梯度计算。而构建完整的计算图，会增加计算和累积内存消耗，从而导致 GPU显存使用量不断增加；基于 Pytorch 使用 VGG16 预训练模型进行分类预测时，出现 GPU 显存使用量不断增加，最终出现 cuda out of memory 的问题；由于博主只使用 VGG16 预训练模型进行分类预测，不需要训

NTU_RGB+D动作识别数据集由56880个动作样本组成，涵盖每个样本的RGB视频、深度图序列、3D骨架数据和红外视频等。

mask self attention 与 self attention 最大的区别在于：self attention 中每一个 token 可以看到和获取所有 token 的特征，而 mask self attention 的 token 只能看到其前面（左边）的 token 特征，并不能聚合其后面的 token。对于上图的 mask self attention，a1 只能聚合本身的特征，a2

mask self attention 与 self attention 最大的区别在于：self attention 中每一个 token 可以看到和获取所有 token 的特征，而 mask self attention 的 token 只能看到其前面（左边）的 token 特征，并不能聚合其后面的 token。对于上图的 mask self attention，a1 只能聚合本身的特征，a2

②配置：基于Windows11、OpenCV4.5.5、VSCode、CMake。特征图：（简单修改源程序生成的文件名，再按顺序进行拼接即可生成拼接图，3--Fisherfaces复现过程。2--Eigenfaces复现过程。①SYSU模式识别课程作业。2--处理ORL数据集。