在Python中，Union类型是一种用于表示一个变量可以是多个不同类型之一的类型注解。它是typing模块中的一个类，可以与其他类型一起使用，以指定一个变量可以接受的多个类型。# 这里的type1、type2等代表要包含在Union类型中的类型，可以是任何合法的类型，包括内置类型、自定义类型和其它Union类型。

这样就可以在控制台正常输出了。

Transformer模型出自论文：《Attention is All You Need近年来，在自然语言处理领域和图像处理领域，Transformer模型都受到了极为广泛的关注，很多模型中都用到了Transformer或者是Transformer模型的变体，而且对于很多任务，使用加了Transformer的模型可以获得更好的效果，这也证明了Transformer模型的有效性。

（1）打开，下滑，找到如下界面，点击下载下拉菜单，选择Community2022（这个是免费的）进行下载。（2）下载后得到安装包VisualStudioSetup.exe，如下图所示。

最近学到了知识蒸馏的相关知识，来简单总结一下૮꒰ ˶• ༝ •˶꒱ა。知识蒸馏知识蒸馏，是一种模型压缩的手段。通过训练学生模仿教师的行为，将嵌入在大的教师模型中的知识迁移到小的学生模型。例如，TinyBERT(Jiao et al.,2020)通过在通用领域的大规模语料库上执行通用的蒸馏，首次得到了一个通用的蒸馏小模型，然后在微调阶段用下游任务数据执行面向特定任务的蒸馏。DynaBERT通过从全量

1、BERT模型基于Transformer架构实现，是一种全新的双向编码器语言模型。与ELMo、GPT等单相语言模型不同，BERT旨在构建一个双向的语言模型来更好地捕获语句间的上下文语义，使其在更多的下游任务上具有更强的泛化能力。因此，预训练完成的BERT模型被迁移到下游任务时，只需要再添加一个额外的输出层便可以进行微调，例如问答和语言推理任务，并不需要针对具体的任务进行模型架构的修改。2、为了使

之前脑子不清醒，把好好的tensorflow环境给删了，这就导致我得重新配一遍环境，想想当初复杂繁琐的环境配置过程就头疼，唉~ 又把自己给坑到了ε (┬┬＿┬┬)3在这里记录以下tensorflow环境的安装配置过程，万一后面再误删掉环境（这种情况也不是不可能发生：）直接照抄就好，当然，也希望能够帮助到需要配tensorflow环境的小伙伴~

首先先解释以下上一篇博客中经常提到的模型的单向和双向：单向：是指生成句子中某个单词的编码表示时，只结合句子中该单词位置之前的语境，而不考虑之后的语境；双向：是指生成句子中某个单词的编码表示时，同时考虑句子中该单词位置之前和之后的语境。由此可知，Transformer的编码器（主要是多头注意力机制）天然就是双向的，因为它的输入是完整的句子，也就是说，指定某个单词，BERT已经读入了它两个方向上的所有

直接换一个函数生成tensor，就是不再使用Tensor()函数了，而是使用torch.tensor()函数，也就不会报错了。在Tensor()函数后面加.long()转换成long类型，就不会再报错了。

之前安装了cpu版本的pytorch，现在要用时发现不是gpu版本的，所以要卸载。发现目前相关卸载干净pytorch及相关包的教程很少，所以来这里记录一下卸载过程，同时也希望能帮助到需要的小伙伴~