LSTM可在一定程度上解决RNN短期记忆的问题。GRU但愿是LSTM单元的简化版，并且只保留遗忘门(保留有用记忆)和输入门(学习新知识)

如果计算King-Man+Woman(添加和减去这些单词的嵌入向量)，则结果非 常接近Queen单词的嵌入(见图1)。换句话说，词嵌入编码了性别的概念!同样，可以计算Madrid-Spain+France，其结果接近Paris(巴黎)，这似乎表明首都的概念也在嵌入中进行了编码。目的：同义词具有非常接近的嵌入（将嵌入向量当作嵌入空间中的坐标，则同义词在嵌入空间中对应的点挨得近，差别越大的词对应的点挨

循环神经网络和前馈神经网络非常类似，只是在其基础上添加了反向链接，下图为一个最简单的循环神经网络，它由一个神经元接受输入，产生输出并将该输出返送给自身。RNN通常用来处理序列数据，训练样本的格式为 X = x(1)x(2)x(3)…x(t-1)x(t)，在每个时间步t，该循环神经元接收x(t)和前一个时间步长的输出y(t-1)的输出，产生当前输出y(t)(不准确，后文会解释)。如下图所示，注意：所

一、前言：一、前言：2017年Google研究团队提出了“注意力就是你所需要 的一切”，首次创建名为Transformer架构。目前Transformer仍然很热，应用领域也很广，最近读书的时候再次看到了这个模型，所以想写一个总结，旨在全面，浅显得介绍此模型，方便日后回顾。如果有问题欢迎批评指正。阅读本文请先确保了解了一些编码器—解码器，attention机制相关知识。如若不然请先看。

对于一个卷积层，如果希望增加输出单元的感受野近似其中第1种和第2种方法会引入参数，第三种会丢失信息。膨胀卷积是一种不增加参数数量，同时增加输出单元感受野的一种方法。空洞卷积通过给卷积核插入“空洞”来变相地增加其大小（跳过部分）．如果在卷积核的每两个元素之间插入𝐷 − 1 个空洞，卷积核的有效大小为𝐾′ = 𝐾 + (𝐾 − 1) × (𝐷 − 1)，其中𝐷 称为膨胀率（Dilation

注意力机制由一种称为对齐模型(或注意力层)的小型神经网络生成，该网络与整个模型一起训练，可以缓解RNN短期记忆的问题。BahdanauAttention和LuongAttention论文提出的attention机制都是基于机器翻译，当然也可以应用于其他领域，如推荐系统。

如果计算King-Man+Woman(添加和减去这些单词的嵌入向量)，则结果非 常接近Queen单词的嵌入(见图1)。换句话说，词嵌入编码了性别的概念!同样，可以计算Madrid-Spain+France，其结果接近Paris(巴黎)，这似乎表明首都的概念也在嵌入中进行了编码。目的：同义词具有非常接近的嵌入（将嵌入向量当作嵌入空间中的坐标，则同义词在嵌入空间中对应的点挨得近，差别越大的词对应的点挨

转至：https://blog.csdn.net/ft_sunshine/article/details/90221691?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162087108216780357254016%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522

一维卷积分为：full卷积、same卷积和valid卷积

有的paper将对比学习称为自监督学习（Self-supervised learning），有的将其称为无监督学习（Unsupervised Learning , UL）。自监督学习是无监督学习的一种形式。自监督学习(Self-supervised learning)可以避免对数据集进行大量的标签标注。把自己定义的伪标签当作训练的信号，然后把学习到的表示(representation)用作下游任务