这里我们所做的改进只是将编码器的全部时刻的隐藏状态取出来而已。通过这个小改动，编码器可以根据输入语句的长度，成比例地编码信息。可以像我们人类一样，将“注意力”集中在必要的信息上。编码器的输出的长度应该根据输入文本的长度相应地改变。中，仅将编码器最后的隐藏状态向量传递给了解码器。1.1 seq2seq存在问题。个单词，此时编码器输出 5。的反向传播是 Repeat。这里重述一下要点：“

word2vec中最大的问题是，随着语料库中处理的词汇量的增加，计算量也随之增加。对上一章中简单的word2vec进行两点改进：引入名为Embedding 层的新层，以及引入名为的新损失函数。1 word2vec的改进①假设词汇量有100万个，CBOW模型的中间层神经元有100个。

神经网络分为学习和推理。神经网络就是将输入变换为输出，类似函数作用。

神经网络分为学习和推理。神经网络就是将输入变换为输出，类似函数作用。