如果计算King-Man+Woman(添加和减去这些单词的嵌入向量)，则结果非 常接近Queen单词的嵌入(见图1)。换句话说，词嵌入编码了性别的概念!同样，可以计算Madrid-Spain+France，其结果接近Paris(巴黎)，这似乎表明首都的概念也在嵌入中进行了编码。目的：同义词具有非常接近的嵌入（将嵌入向量当作嵌入空间中的坐标，则同义词在嵌入空间中对应的点挨得近，差别越大的词对应的点挨

解决问题：同种重要性对待每种模态，可能使得得到的特征表示次优，例如过度强调学习到的表示中的特定模态。以MMGCN为例，下图为MMGCN模型总览。

LSTM可在一定程度上解决RNN短期记忆的问题。GRU但愿是LSTM单元的简化版，并且只保留遗忘门(保留有用记忆)和输入门(学习新知识)

如果计算King-Man+Woman(添加和减去这些单词的嵌入向量)，则结果非 常接近Queen单词的嵌入(见图1)。换句话说，词嵌入编码了性别的概念!同样，可以计算Madrid-Spain+France，其结果接近Paris(巴黎)，这似乎表明首都的概念也在嵌入中进行了编码。目的：同义词具有非常接近的嵌入（将嵌入向量当作嵌入空间中的坐标，则同义词在嵌入空间中对应的点挨得近，差别越大的词对应的点挨

循环神经网络和前馈神经网络非常类似，只是在其基础上添加了反向链接，下图为一个最简单的循环神经网络，它由一个神经元接受输入，产生输出并将该输出返送给自身。RNN通常用来处理序列数据，训练样本的格式为 X = x(1)x(2)x(3)…x(t-1)x(t)，在每个时间步t，该循环神经元接收x(t)和前一个时间步长的输出y(t-1)的输出，产生当前输出y(t)(不准确，后文会解释)。如下图所示，注意：所

一、前言：一、前言：2017年Google研究团队提出了“注意力就是你所需要 的一切”，首次创建名为Transformer架构。目前Transformer仍然很热，应用领域也很广，最近读书的时候再次看到了这个模型，所以想写一个总结，旨在全面，浅显得介绍此模型，方便日后回顾。如果有问题欢迎批评指正。阅读本文请先确保了解了一些编码器—解码器，attention机制相关知识。如若不然请先看。

Seq2Seq”模型将一个序列作为输入，例如一个英文句子，并输出另一个序列，例如该句子的法语翻译。“Seq2Vec”模型将序列数据作为输入，例如产品评论或社交媒体帖子，并输出单个值，例如情绪分数。“Vec2Seq”模型采用单个输入（例如图像）并生成数据序列（例如描述）。以最能代表输入数据特征的方式调整其参数。，并将其映射到输出。

对于一个卷积层，如果希望增加输出单元的感受野近似其中第1种和第2种方法会引入参数，第三种会丢失信息。膨胀卷积是一种不增加参数数量，同时增加输出单元感受野的一种方法。空洞卷积通过给卷积核插入“空洞”来变相地增加其大小（跳过部分）．如果在卷积核的每两个元素之间插入𝐷 − 1 个空洞，卷积核的有效大小为𝐾′ = 𝐾 + (𝐾 − 1) × (𝐷 − 1)，其中𝐷 称为膨胀率（Dilation

注意力机制由一种称为对齐模型(或注意力层)的小型神经网络生成，该网络与整个模型一起训练，可以缓解RNN短期记忆的问题。BahdanauAttention和LuongAttention论文提出的attention机制都是基于机器翻译，当然也可以应用于其他领域，如推荐系统。

如果计算King-Man+Woman(添加和减去这些单词的嵌入向量)，则结果非 常接近Queen单词的嵌入(见图1)。换句话说，词嵌入编码了性别的概念!同样，可以计算Madrid-Spain+France，其结果接近Paris(巴黎)，这似乎表明首都的概念也在嵌入中进行了编码。目的：同义词具有非常接近的嵌入（将嵌入向量当作嵌入空间中的坐标，则同义词在嵌入空间中对应的点挨得近，差别越大的词对应的点挨