1 简介本文根据2020年《Self-training with Noisy Student improves ImageNet classification》翻译总结。自训练（Self-training）使用标注数据训练一个好的teacher模型，然后使用该teacher模型对未标注的数据进行标注，最后使用标注数据和非标注数据联合训练一个student模型。如下图所示。本文提出的Noisy St

强化学习分类与汇总介绍

1.6FacenetFacenet主要是采用的欧几里得距离（欧式距离）来衡量两张图片或者两张人脸的相似度，欧式距离越小代表图片越相似，欧式距离越大，代表图片越不相似。所以先将一副图片x，采用函数f（x）将其变成128维的embedding（embedding：多维数组来表示不同的类别），然后计算embedding之间的距离。在比较embedding的欧式距离时，将图片的欧式距离与真的（pos...

1 简介GPT先是非监督的预训练，然后进行监督训练微调。而GPT-2，是想只需要非监督训练即可，不用再监督训练。本文根据2019《Language Models are Unsupervised Multitask Learners》翻译总结。从标题就可以看出来，作者尝试只使用非监督学习。监督学习是脆弱、敏感的，比如当数据分布稍微改变，或者只针对的某个特定任务。我们本文描述语言模型可以不需要任何监

我们显示了1）如何使用CNN学习了一个图像成分的语义丰富的词汇表,这部分也就是VQGAN；2）利用transformer在高分辨率图像中有效地对其组成（VQGAN压缩过的图片码书表示）进行建模。整体模型也就如下图，包括两部分，VQGAN和transformer。VQGAN先进行图片的压缩，然后输入到transformer。

NEZHA(NEural contextualiZed representation for CHinese lAnguage understanding，面向中文理解的神经语境表征模型，哪吒)。NEZHA相较于BERT有如下改进，前两者是模型改进，后两者是训练优化。：(1)函数式相对位置编码：NEZHA中的函数式相对位置编码，通过使用相对位置的正弦函数计算输出和attention的得分。该想法源

语音识别预训练wav2vec 2.0

WeKWS是一个可以投入生产使用、容易构建、易应用的端到端（end-to-end (E2E) ）关键词识别工具（Keyword spotting ）。Keyword spotting（KWS）指从连续语音流中识别预定义的关键词。唤醒词识别（wake-up word（WuW））是KWS的一种。

强化学习分为三类，分别为基于价值（Value-Based）的强化学习、基于策略（Policy-Based）的强化学习、演员-评论家（Actor-Critic）强化学习

摘自：https://www.bilibili.com/video/BV1Tt411s7fK?t=3