在传统的 NLP 方法中，单词通常被表示为稀疏的 one-hot 向量。假设词汇表大小为 ，每个单词都对应于一个长度为 的向量，其中只有一个位置为 1，其余为 0。维度灾难：当词汇量很大时，one-hot 向量的维度也会很高，增加了计算复杂度。缺乏语义信息：one-hot 向量无法捕捉单词之间的语义和语法关系。因此，研究者们开始探索如何将单词表示为低维度的稠密向量（通常是 50-300 维），并且

Softmax 函数 是一种常用的归一化函数，通常用于多分类问题中。它将一个 K 维的实值向量转换为一个 K 维的概率分布，使得每个元素的值在 [0, 1] 之间，且所有元素的和为 1。公式：其中：作用：Softmax 函数的推导过程可以从概率模型和最大似然估计的角度来理解。以下是详细的推导过程：在多分类问题中，我们需要将一个 K 维的实值向量转换为一个概率分布 ，其中： 我们希望找到一种映射函数

在学完word2vec之后便进入了RNN的学习，感觉初次接触很难理解，但是进过我反复查阅资料，发现也并没有想象的难，对于如何搞明白RNN我认为需要的不仅是理解能力还需要有想象力，不过我相信大家一定能够理解的。（水字数。。。。

在学完word2vec之后便进入了RNN的学习，感觉初次接触很难理解，但是进过我反复查阅资料，发现也并没有想象的难，对于如何搞明白RNN我认为需要的不仅是理解能力还需要有想象力，不过我相信大家一定能够理解的。（水字数。。。。

在学完word2vec之后便进入了RNN的学习，感觉初次接触很难理解，但是进过我反复查阅资料，发现也并没有想象的难，对于如何搞明白RNN我认为需要的不仅是理解能力还需要有想象力，不过我相信大家一定能够理解的。（水字数。。。。