Prototypical Networks for Few-shot LearningAbstract我们为小样本分类问题提出了原型网络，其中分类器能够很好的泛化到其他没有在训练集中出现的新类别，对于每一种新出现的类别，我们只给出很少的样本。原型网络学习一个度量空间，在该空间中，可以通过计算到每个类的原型表示的距离来执行分类。与最近的小样本学习方法...

知识蒸馏知识蒸馏可以将一个网络的知识转移到另一个网络，这两个网络可以是同构的或者异构的。可以用于将大网络的知识转移到一个小网络中并且保留接近于大网络的性能；可以将多个网络学习到的知识转移到一个网络中，使得单个网络的性能接近emsemble结果。知识蒸馏的分类优化目标驱动特征匹配...

使用resnet神经网络，在预训练模型的基础上，在自己的数据集上进行微调，最后在自己的数据集上验证效果。可以借鉴部分：数据加载resnet模型使用方法预训练模型加载，模型保存训练/验证/测试步骤需要修改部分：预训练模型加载路径自己数据集路径保存路径import torch.nn as nnimport mathimport pickleimport torchimport numpy as npi

注意力机制的基本思想就是让网络学会关注重要的信息而忽略无关的信息。1. 注意力机制的分类（1）软注意力：软注意力更加关注区域或者通道，可微，可以通过网络的前向传播以及后向传播学习得到。（2）强注意力：强注意力更加关注点，图像中的每一个点都可以延伸出注意力，强注意力是不可微的注意力，训练过程往往通过增强学习完成。2. 软注意力的使用软注意力一般通过相关特征学习权重分布，再利用学习得到的权重施加在特征