Transformer模型彻底改变了自然语言处理领域，而其中的核心——注意力机制(Attention)的QKV三要素，是理解Transformer的关键。很多初学者看到Q(Query)、K(Key)、V(Value)就一头雾水：它们到底是什么？从哪里来？为什么需要它们？本文将用最直观的方式，带你彻底理解QKV的原理，配有详细流程图和可运行代码，保证小白也能轻松掌握！概念说明关键点Q(Query)“

训练部分。

训练部分。

论文翻译：https://blog.csdn.net/m0_47867638/article/details/131630614官方源码：https://github.com/sail-sg/inceptionnext这是一篇来自颜水成团队的论文。作者提出InceptionNext，将大核深度卷积分解为沿通道维度的四个平行分支，即小方形核、两个正交带核和一个单位映射。通过这种新的Inception

知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提高学生的性能。本文表明，教师还可以通过指导学生的特征恢复来提高学生的表示能力。从这一观点出发，我们提出了掩码生成蒸馏（Masked Generative Distillation，MGD），该方法很简单：我们随机掩码学生的特征像素，并通过一个简单的块强迫其生成教师的完整特征。MGD是一种真正通用的基于特征的蒸馏方法，可用于各种任

复杂度的检测模型虽然可以取得SOTA的精度，但它们往往难以直接落地应用。模型压缩方法帮助模型在效率和精度之间进行折中。知识蒸馏是模型压缩的一种有效手段，它的核心思想是迫使轻量级的学生模型去学习教师模型提取到的知识，从而提高学生模型的性能。基于特征的（feature-based，例如VID、NST、FitNets、fine-grained feature imitation）

CMU和google brain联手推出了bert的改进版xlnet。在这之前也有很多公司对bert进行了优化，包括百度、清华的知识图谱融合，微软在预训练阶段的多任务学习等等，但是这些优化并没有把bert致命缺点进行改进。xlnet作为bert的升级模型，主要在以下三个方面进行了优化今天我们使用xlnet+BiLSTM实现一个二分类模型。

TextRNN仅仅是将Word Embedding后，输入到双向LSTM中，然后对最后一位的输出输入到全连接层中，在对其进行softmax分类即可，模型如下图：代码：TextRNN_ATT在TextRNN的基础上加入注意力机制，代码：数据集数据集采用cnews数据集，包含三个文件，分别是cnews.train.txt,cnews.val.txt,cnews,test.txt。类别：体育, 娱乐,

MMDetection 是被广泛使用的检测工具箱，包括了目标检侧、实例分割、全景分割等多个通用检测方向，并支持了75+个主流和前沿模型， 为用户提供超过440+个预训练模型, 在学术研究和工业落地中拥有广泛应用。该恇架的主要特点为:模块化设计。MMDetection 将检测框架解耦成不同的模块组件，通过组合不同的模块组件，用户可以便捷地构建自定义的检测模型支持多种检测任务。MMDetection

训练部分。