CBOW神经网络会接收上下文词语，将上下文词语转换为最有可能的目标词。skip-gram是用目标词来预测上下文。

!!注意我的环境中，使用pip安装gensim会更改numpy版本，导致tensorflow崩溃，我使用的是conda安装成功的。

对应着上面的a和b。

前馈网络（feed-forward network）是一种常见的神经网络结构，由一个或多个线性变换和非线性激活函数组成。它的输入是一个词向量，经过一系列线性变换和激活函数处理之后，输出另一个词向量。作用：使模型卷的更深，因为模型要重复N次，Add操作充分考虑了模型复杂度，抵抗模型深度所导致输入信号的衰减，作用：模仿神经元结构，内置两组Linear数据进行转换。作用：把分散的分布重新拉回到正常的分布

注意：与RNN相比，RNN是一个字一个字的输入，自然每个字的循序关系信息就会保留下来，在Encoder中，一句子的每一个字(词)是并行计算的(下一节解释)，所以我们在输入的时候需要提前引入位置信息。这样通过与位置编码(positional encoding)相加，则让输入向量x具有了位置信息。奇数的位置是cos, 偶数的位置是sin。i是维度下标，d是总维度。

前馈网络（feed-forward network）是一种常见的神经网络结构，由一个或多个线性变换和非线性激活函数组成。它的输入是一个词向量，经过一系列线性变换和激活函数处理之后，输出另一个词向量。作用：使模型卷的更深，因为模型要重复N次，Add操作充分考虑了模型复杂度，抵抗模型深度所导致输入信号的衰减，作用：模仿神经元结构，内置两组Linear数据进行转换。作用：把分散的分布重新拉回到正常的分布

非线性变换的本质：改变空间上的位置坐标，任何一个点都可以在维度空间上找到，通过某个手段，让一个不合理的点（位置不合理），变得合理。机器学习的本质：在做一件事情，非线性变换（把一个看起来不合理的东西，通过某个手段（训练模型），让这个东西变得合理）多头的个数用h表示，一般h = 8, 我们常用使用的是8头自注意力.2、然后把Z0-Z7拼接起来，再做一次线性变换（改变维度）得到Z。1、对于X，我们将X分

前馈网络（feed-forward network）是一种常见的神经网络结构，由一个或多个线性变换和非线性激活函数组成。它的输入是一个词向量，经过一系列线性变换和激活函数处理之后，输出另一个词向量。作用：使模型卷的更深，因为模型要重复N次，Add操作充分考虑了模型复杂度，抵抗模型深度所导致输入信号的衰减，作用：模仿神经元结构，内置两组Linear数据进行转换。作用：把分散的分布重新拉回到正常的分布