最近复现一篇 Paper，需要使用预训练的模型，但预训练模型和自定义模型的 key 值不匹配，导致无法顺利加载预训练权重文件；

4--将模型部分参数固定（不进行梯度下降）3--使用权重文件参数更新模型的参数。1--打印权重文件参数。

令：position = p，则position * div_term。分别取行数列和奇数列，就可以得到上图绿框所示的公式。2--源码分析与理解。

mask self attention 与 self attention 最大的区别在于：self attention 中每一个 token 可以看到和获取所有 token 的特征，而 mask self attention 的 token 只能看到其前面（左边）的 token 特征，并不能聚合其后面的 token。对于上图的 mask self attention，a1 只能聚合本身的特征，a2

即不能一次加载完整的数据集到内存中，而频繁的io请求来加载单个样本的数据，也会导致机械硬盘的io瓶颈。博主也想过这个问题，但问题是博主读取训练样本的时候是随机产生索引的（即shuffle），我并不能保证一个batchsize中产生的样本索引都在这个大文件中，所以这种方法并不合适。，即把CPU对数据集进行预处理的模块放在显卡上进行，不再由CPU放在内存中进行，而是直接传送到GPU上处理。由于内存的紧

②配置：基于Windows11、OpenCV4.5.5、VSCode、CMake。特征图：（简单修改源程序生成的文件名，再按顺序进行拼接即可生成拼接图，3--Fisherfaces复现过程。2--Eigenfaces复现过程。①SYSU模式识别课程作业。2--处理ORL数据集。

上述代码可以用以下代码代替，博主在ORL数据集上测试发现两者符号相反，数值相等；但由于后面对验证集进行pca降维时，需要用到训练集的参数进行标准化（原因见。③load_dataset()和train_test_split可以用以下函数代替，在ORL数据集上测试发现准确率有随机性，但相差不大；②运行gen_data.py生成数据集文件dataset.npy。），所以建议还是使用sklearn自带的a

【代码】HAR笔记--kinectis-400数据集下载和简单处理代码。

升级 bitsandbytes 库，这里博主选用 0.38.1 版本的 bitsandbytes 解决了问题；--delta-path 表示第 3 步中下载的 vicuna-7b-delta-v1.1 权重的存放地址；--bash-model-path 表示第 3 步中下载的 llama-7b-hf 权重的存放地址；--target-model-path 表示生成 Vicuna 权重的存放地址；4

在主机从头配置 caffe 会出现许多环境兼容问题，这里使用 Docker 安装 GPU 版本的深度学习框架 caffe；运行上述指令，可以创建一个名称为 caffe_gpu 的容器；2--使用Nvidia Docker安装caffe-gpu。1--搜索caffe镜像。① 测试 caffe 库。3--使用镜像创建容器。