最近学到了知识蒸馏的相关知识，来简单总结一下૮꒰ ˶• ༝ •˶꒱ა。知识蒸馏知识蒸馏，是一种模型压缩的手段。通过训练学生模仿教师的行为，将嵌入在大的教师模型中的知识迁移到小的学生模型。例如，TinyBERT(Jiao et al.,2020)通过在通用领域的大规模语料库上执行通用的蒸馏，首次得到了一个通用的蒸馏小模型，然后在微调阶段用下游任务数据执行面向特定任务的蒸馏。DynaBERT通过从全量

（1）打开，下滑，找到如下界面，点击下载下拉菜单，选择Community2022（这个是免费的）进行下载。（2）下载后得到安装包VisualStudioSetup.exe，如下图所示。

（2）squeeze(idx):idx为要删减的那个维度的参数，如果不给idx的话，会把所有能删减的（即：dim.size为1的维度）都删减掉。3.Tensor()生成的类型是默认的类型，即把默认的类型设置成什么类型，Tensor()生成的就是什么类型的tensor，通常会把默认的类型由float改为double，因为double类型的精度是64位，会更精确一些。dim（2）是size/shape

在word中编辑时，有时会遇到较长的英文字符串（如网址等）不会换行的问题，即英文字符串只能在一行中连续出现，就如下图所示，这会导致文章段落很难看。在word中将光标定位到目标句，打开段落设置对话框，选择中文版式，勾选“允许西文在单词中间换行”，然后点击确定，就可以实现上述功能了。

关于anaconda、cuda和cudnn的安装教程可以看我的这篇，安装ptorch和tensorflow的前期过程是一样的，这里只详细讲解pytorch的安装过程。

显然，上述代码中，strcpy函数是在函数体外进行调用的，因此会报错。

想要使vscode既可以编译c程序又可以编译c++程序，编译运行c程序代码的时候没有报错，但编译c++程序的时候会报错：undefined reference to `std::ios_base::Init::~Init()'修改之后就可以编译生成exe文件，从而成功运行c++程序。

当运行以下两行代码时，明明已经将下载到本地的bert-base-uncased模型放到了当前py文件的目录下，

本篇博客是的续。在上一篇博客中介绍了扩散模型DDPM的扩散过程和反向过程，本篇博客主要介绍DDPM的以及。废话不多说，那就开始吧~

这样就可以在控制台正常输出了。